Privatbolig (ca. 1640–1718)
Senere kom den i Karen Tollers eie. Hun var en av de driftige norske forretningskvinner på denne tiden. Etter å ha drevet sine økonomiske spekulasjoner litt for langt, solgte Toller gården til kong Frederik IV i 1718.
Katedralskolen (1719–1823)
Kongen beholdt ikke bygningen lenge, men overdro den allerede året etter til Christiania Katedralskole, som den gangen var landets viktigste utdanningsinstitusjon. Inspirert av opplysningstidens nye og radikale ideer om kunnskap og undervisning ønsket Katedralskolen å utvikle seg til noe mer enn en tradisjonell latinsk «presteskole». For å oppnå dette, måtte lokalene utvides og moderniseres.
Planene gikk ut på å lage et nytt, representativt inngangsparti mot gaten og en stor festsal med bibliotek i et tilbygg i bakgården – alt i tidens klassisistiske smak. Oppdraget gikk i 1799 til den unge danske arkitekten Carl Frederik Ferdinand Stanley.
Arkitekten
C.F.F. Stanley (1769–1805) ble født i København og utdannet seg til arkitekt ved Kunstakademiet i samme by. I 1797 fikk han en stilling i Norge som ulønnet arkitekt for det offentlige i Akershus og Christiania. Planen var nok å skaffe seg inntekter gjennom private byggeoppdrag for den luksuselskende overklassen i distriktet, men Stanley rakk ikke å utføre så mye. Allerede tidlig i 1801 forlot han landet med reisestipend til Italia, der han døde så vidt 36 år gammel.
Storting og regjering (1814–1917)
Katedralskolens nye festsal ble tatt i bruk i 1800 og var lenge byens mest representative forsamlingslokale. Da myndighetene så seg om etter en egnet sal for Stortinget høsten 1814, falt valget derfor på den – med plass til lagtingssal i biblioteket ved siden av.
I begynnelsen måtte skolen flytte ut hver gang Stortinget var samlet (ordinært hvert tredje år), en tungvint ordning som varte til 1823. Da overtok Stortinget hele gården og holdt sine møter her frem til 1854. Stortinget vokste til slutt ut av katedralskolebygningen, og i påvente av at en egen stortingsbygning sto klar i 1866, holdt Stortinget sine møter i Universitetets festsal.
Dronningens gate 15 rommet Kirkedepartementet etter at Stortinget flyttet ut, og gikk under navnet Departementsgården. Da kvartalet skulle rives for å gi plass til byens nye hovedpostkontor, ble den gamle stortingssalen og lagtingssalen flyttet til Norsk Folkemuseum i 1914. Selve gården ble revet i 1917.