żona Ethel Kennedy (od 17.06.1950 do jego śmierci), 11 dzieci: Kathleen (ur. 04.07.1951), Joseph Patrick (ur. 24.09.1952), Robert Francis Jr. (ur. 17.01.1954), David Anthony (ur. 15.06.1955), Mary Courtney (ur. 09.09.1956), Michael (ur. 27.02.1958), Mary Kerry (ur. 08.09.1959), Christopher George (ur. 04.07.1963), Matthew Maxwell (ur. 11.01.1965), Douglas (ur. 24.03.1967) i Rory (ur. 12.12.1968)