Hilary je rođenrođena u Houstonu, Texas, 28. rujna 1987. Ona je drugo dijete od Susan Colleen (djevojački Cobb), domaćice i filmske producentice, i Roberta Erharda Duffa, partnera u lancu dućana praktičnosti. Ona ima stariju sestru, Haylie Duff, koji je također glumica / pjevačica. Hilary je majka ohrabrivala da ide na satove glume sa starijom sestrom što je rezultiralo da obje djevojke dobiju uloge u raznim lokalnim kazališnim produkcijama. U dobi od osam i šest, sestre su sudjelovale u baletu, The Nutcracker Suite s Columbijskim BalletMet u San Antoniou. Sestre su postale još više oduševljene idejom odabira glume kao profesije, i na kraju preselile u Kaliforniju sa svojom majkom. Hilaryin je otac ostao u obiteljskoj kući u Houstonu kako bi voditi brigu o svojem poslovanju. Nakon nekoliko godina audicija i sastanaka, sestre Duff sudjelovale su u raznim televizijskim reklamama.
