Grad je bil postavljen na mestu prvotnega prazgodovinskega Gradišča.

 

Bil je sedež deželnega sodišča in upravno središče višnjegorskega gospostva do konca 13.stoletja. Verjetno je zgrajen že v 11.stoletju, a prvič omenjen 1154 kot castelum Wichselberg.

Tekom 15.stoletja preide v last celjskih grofov, kasneje Habzburžanov (l. 1456). V 17.stoletju (l.1666) so ga prevzeli Turjačani in ga obdržali vse do 20.stoletja. Zadnji lastniki so bili grofje in knezi Auerspergi.

Razvaline so še danes vidne na hribu nad Višnjo Goro.