Mestece Višnja Gora (389 m) je nastalo na griču pod hribom  (508m), kjer je včasih stal grad Weichselberg (Stari grad), ki je že dolgo v razvalinah.

Najdbe s prehoda bronaste dobe v železno in iz starejše železne dobe dokazujejo zgodnjo naselitev tega področja.

Na hribu Gradišče je bilo starokeltsko in rimsko taborišče, mimo katerega je vodila cesta Emona:Neviodunum. Ob njej je verjetno stalo na prostoru današnje Višnje Gore mesto Magisna.

V srednjem veku je bil predhodnik Višnje Gore Stari trg, ki ga viri omenjajo že v 12. stoletju, uradno pa leta 1269.

Za leto 1443 lahko trdimo, da je Višnja Gora trg z formirano občino tržanov, ki ima lasten pečat.

Friderik III. Je v drugi polovici 15. stoletja (leta 14619 podelil tržanom pravico, »da smejo sami voliti sodnika ( iz svoje srede), ki bo upravljal trško sodišče v mejah pomperija«.

V 6o. letih 15.stoletja so turški vpadi postajali vedno pogostejši in hujši, zato je bil trg na prostoru današnjega Starega trga nezavarovan in izpostavljen napadom. Višnjani so se začeli seliti na višje in za zavarovanje prikladnejše mesto na bližnjem griču. Iz različnih ohranjenih listin je razvidno, da je že leta 1461 začelo nastajati mesto na današnji lokaciji.

Dokončna potrditev je uradni dokument izdan 9.julija 1478 v Gradcu, v katerem cesar Friderik III. pojasnjuje, da so se po njegovem naročilu »sodnik, svet in tržani Višnje Gore namenili zgraditi višnjegorski trg na drugem kraju, ga utrditi in povzdigniti v mesto. Ker tega z lastnimi sredstvi ne zmorejo jim dovoli pobirati mitnino, povečati število sejmov, zmanjšati dajatve in svobodo naseljevanja«.

Namen teh privilegijev je bil jasen: z odobreno mitnino in prenosom letnih sejmov bi se dvignili mestni dohodki, olajšano bi bilo financiranje zidanja obzidja in drugih utrditvenih naprav; z naseljevanjem okoliških prebivalcev pa povečanje obrambne moči novo utrjenega mesta.

Gospodarsko življenje v 15. stoletju je bilo v vzponu. Zaradi dobre prometne lege in tedenskih sejmov so dobro uspevali trgovina in različne obrti. Zapisano je, da so poleti 1528 Turki neuspešno oblegali mesto, hudo opustošenje je posledično doživela okolica. V mestu sta bila v tistem času dva javna vodnjaka, cisterni, orožarna, kopališče, imelo je celo padarja in šolmoštra, ki je bil obenem pisar.

Med leti 1552-1553 so cesto skozi mesto tlakovali s kamni.

Nadvojvoda Ferdinand je leta 1521 potrdil mestne privilegije, mestno lastnino petih kmetij pred mestom in prosto volitev mestnega sodnika.

Sledila je prelomnica. Proti koncu 16.stoletja je slovenske dežele zajela gospodarska depresija in kriza, ki se je vlekla še daleč v 17.stoletje. Mesto je vsebolj propadalo, ker denarja za vse izdatke ni bilo dovolj. Med 1605-1610. letom se omenja, da je bilo v mestu le še okoli 40 meščanov, obljudenih pa okoli 30 hiš. Še slabše se je godilo v letu 1632, ko je bilo zaplenjenih in zapečatenih mnogo hiš zaradi neplačanih davkov.

Obubožano mesto je vse bolj tonilo v dolgovih, tako da je bila Višnja Gora v prvi polovici 18. stoletja za Novim mestom najbolj zadolžena od vseh kraljevskih mest.

Iz 17. stoletja nam je ohranjena podoba in opis Višnje Gore v Valvasorjevem delu Slava vojvodine Kranjske. Pravi, da je bilo mesto pred časi mično in snažno, imelo je lepe hiše, sedaj pa je popolnoma pokvarjeno. V mestu je veliko opuščenih in razpadlih hiš, še zlasti zato, ker je v mestu pogosto gorelo.

Nova doba in gospodarski napredek nista šla mimo Višnje Gore, a prejšnje veličine ni nikoli več dosegla.

Okoli 1750 je v Višnji Gori delovala Bogatajeva manufaktura svilenih nogavic (Wexelberger Strumpffabrique). Leta 1894 je bila speljana skozi Višnjo Goro železnica.