Hilary je rođena u Houstonu, Texas, 28. rujna 18671987. OsmoDrugo je dijete Susan Colleen (djevojački Cobb), domaćice i filmske producentice, i Roberta Erharda Duffa, partnera u lancu dućana praktičnosti. Ima stariju sestru, Haylie Duff, koji je također glumica i pjevačica. Hilary je majka ohrabrivala da ide na satove glume sa starijom sestrom što je rezultiralo da obje djevojke dobiju uloge u raznim lokalnim kazališnim produkcijama. U dobi od osam i šest godina, sestre su sudjelovale u baletu ''The Nutcracker Suite'' s kolumbijskim "BalletMet" u San Antoniju. Sestre su postale još više oduševljene idejom odabira glume kao zanimanja, i na kraju preselile u Kaliforniju sa svojom majkom. Hilaryin je otac ostao u obiteljskoj kući u Houstonu kako bi voditi brigu o svojem poslovanju. Nakon nekoliko godina audicija i sastanaka, sestre Duff sudjelovale su u raznim televizijskim reklamama.