Grad je bil postavljen na mestu prvotnega prazgodovinskega Gradišča. Bil je sedež deželnega sodišča in upravno središče višnjegorskega gospostva do konca 13.stoletja. Verjetno je zgrajen že v 11.stoletju, a prvič omenjen 1154 kot castelum Wichselberg.

Tekom 15.stoletja preide v last celjskih grofov, kasneje Habzburžanov (l. 1456). V 17.stoletju (l.1666) so ga prevzeli Turjačani in ga obdržali vse do 20.stoletja. Zadnji lastniki so bili grofje in knezi Auerspergi.

Razvaline gradu so še danes vidne na hribu nad Višnjo Goro.