Zgodovina Auerspergovega dvorca sodi v drugo polovico 18. stoletja. Leta 1778 so ga zgradili Auerspergi (gospodje Turjaški) kot nadomestilo za opuščen stari grad nad naseljem, ki ni več služil svojemu namenu. Poleg tega pa s svojo težko dostopno lego in grajsko zasnovo ni več ustrezal takratni poznobaročni bivalni kulturi. Nov dvorec so gospodje Turjaški dali zgraditi zahodno od starega mestnega jedra. Zasnovan je kot enonadstropna stavba s tlorisom v obliki črke U.

Umetnostni zgodovinar, arhitekt in poznavalec slovenskih gradov Igor Sapač meni, da je Auerspergov dvorec zadnji člen v nizu poznobaročnih grajskih stavb na Dolenjskem in naj bi bil delo znamenitega ljubljanskega arhitekta Lovrenca Pragerja.

Po izgradnji dvorca so Turjaški gospodje vanj prenesli sedež gospostva skupaj z deželnim sodiščem, ki naj bi bilo v dvorcu do zemljiške obveze sredi 19. stoletja, nato pa je bilo preseljeno v Stično. Od leta 1900 do začetka druge svetovne vojne je bil dvorec zopet sedež sodišča, zato so ga domačini poimenovali kar »Sodnija«.

Turjaški gospodje so ostali lastniki dvorca do začetka druge svetovne vojne. Med vojno je bil dvorec delno požgan, po njej, od leta 1949 dalje, pa je v njem dobilo prostore Dekliško vzgajališče, danes Vzgojno-izobraževalni zavod Višnja Gora. Po več kot sedemdesetih letih delovanja je Zavod postal del višnjegorske identitete.

Dvorec je bil večkrat obnovljen, tako da so  leta 1975 so za dvorcem zgradili nove izobraževalne prostore, leta 1978 pa še telovadnico, leta 2004 pa so dozidali dve ločeni bivalni enoti in temeljito prenovili zunanjost stavbe.