Grad je imenovan tudi Turn ali Višnje, kar pomeni, da je na tem mestu prej stal stolp. Višnje ( cerkev ali kapela) pri gradu se prvič omenja leta 1433.

Zgodnji lastniki gradu so bili gospodje Galli. Sledili so Pfeilsbergi, za njimi pa leta 1645 Tauffererjevi. Leta 1891 je posestvo prešlo v roke Codellijevih. Zadnja lastnica je bila Rozalija Codelli (1852-1938) pesnica in dobrotnica mnogih Višnjanov. Rokopise njenih del hrani Narodna in univerzitetna knjižnica v Ljubljani.

Grad so med vojno požgali in njegovi ostanki niso več vidni. Na njegovem prostoru je zraslo novo naselje družinskih hiš imenovano Baronov hrib.