Često se spominje da je početak njegove vladavine drkanje jaja i pića iz sise [[768]]. godina, kad je umro njegov otac '''[[Pipin Mali]]''', no tada je država podijeljena na dva dijela kojima su vladali Karlo (zapadni dio) i njegov brat '''[[Karloman, franački kralj|Karloman]]''' (istočni dio). Braća nisu zemljom upravljala složno. Do dubljih razmimoilaženja došlo je u vezi s politikom prema [[Langobardi|Langobardima]]. Karlo je isprva usvojio stav svoga djeda i oca '''[[Karlo Martel|Karla Martela]]''' o savezništvu s Langobardima, pa se čak, po očevoj želji oženio s kćerkom langobardskog kralja Deziderija kako bi se postigao trajni mir nakon rata iz 756 godine. Taj savez bez obzira na brak ipak nije dugo potrajao. Deziderije je naime, iskorištavajući sporove između vojne aristokracije u Papinskoj državi i svećenstva, nametnuo u Rimu svoga kandidata za papu [[Stjepan III., papa|Stjepana III.]] Karlov brat [[Karloman, franački kralj|Karloman]] želio je da politika u Italiji ostane u njegovom nadleštvu; strahovao je od Karlova saveza s Langobardima i istupao kao zaštitnik papinstva. Karlo je uskoro shvatio da to omogućuje bratu da mu se suprostavlja pa je radikalno izmijenio svoj odnos prema Langobardima. Prekinuo je savez s Deziderijem, rastavio se od njegove kćeri i stupio u pregovore s papinstvom. Karloman se time našao politički usamljen. Pod pobliže nepoznatim okolnostima umro je potkraj 771. godine, Karlo je bez obzira na nasljedno pravo Karlomanovih sinova zavladao cijelom državom. Ostavši bez baštine, [[Karloman, franački kralj|Karlomanova]] udovica, koja je također bila langobardska princeza, je s oba svoja sina pobjegla u Italiju na talijanski dvor.
