[[Datoteka:Pavao Rauch and dignitaries in Zagreb.JPG|200px|thumb|Ban [[Pavao Rauch]] i dostojanstvenici ispred Banskih dvora]]
U početku je ban stolovao u svom vlastitom dvorcu ili utvrdi koje je posjedovao te nije bilo stalnog sjedišta banske vlasti. Kako je ban u početnom razdovlju bio i vrhovni vojni zapovjednik Hrvatske, sjedište je određivao i ovisno o vojnim potrebama obrane kraljevine od Osmanlija. Od 16. stoljeća u Zagrebu se sve više koncentriraju političke institucije te sabor sve češće zasjeda upravo na zagrebačkom Gornjem gradu, pa tako i ban mora sve češće tu boraviti. [[1808.]] slijedom zaključka Sabora ban [[Ignjat Gyulay]] kupio je privatnu palaču bivšeg banabaruna [[FerdinandFranjo Kulmer|FerdinandaFranje Kulmera]] na zapadnoj strani Markovog trga kako bi dobio novu kraljevinsku kuću za trajan stan banova, sjedište sudova, pohranu javnih spisa i kraljevinskih knjiga, odnosno saborskih zapisnika. Kupoprodajni ugovor o prodaji palače skopljen je 1. kolovoza 1808. Takvim je rasporedom u prvom redu riješeno pitanje stana za bana pa je palača i dobila naziv "banska palača", a kasnije "banski dvori".<ref>[http://www.sabor.hr/Default.aspx?sec=484 ''Povijest saborske palače'', www.sabor.hr]</ref> Do početka 1809. palača je renovirana i nadograđena te su u njoj smješteni kraljevski [[Hrvatski državni arhiv|Zemaljski arhiv]], Banski i zemaljski sudbeni stol, te hrvatska sabornica. Godine 1837. od obitelji Rauch kupljen je i sjeverni kompleks, sjeverno krilo sadašnjih Banskih dvora, a nakon dogradnje zapadnog i sjevernog krila zgrade u taj dio palače premješta se Banski i Sudbeni stol. Posljednja velika nadogradnja i proširenje sjeverozapadnog dijela kompleksa obavljena je 1882., pri kraju banovanja prvog bana pučanina [[Ivan Mažuranić|Ivana Mažuranića]].
