Najdbe iz prehoda bronaste dobe v železno dobo dokazujejo, da so okolico Višnje Gore že zgodaj poseljevali Iliri in Kelti. Najdbe hranijo v Narodnem muzeju Slovenije v Ljubljani.
Na področju današnjega mesta Višnje Gore je bilo v rimski dobi vojaško naselje Magnisna. Ko so pred nekaj desetletji v Višnji Gori gradili vodovod so odkrili tudi rimske lončene vodovodne cevi.
Prvotno naselbino Stari trg pisni viri omenjajo že leta 1269. Naselbina se je ohranila vse do danes in leži nižje pod gričem.
Višnja Gora je tedaj že imela svoj pečat in nekaj trške samostojnosti. Cesar Friderik III. je Višnjo Goro leta 1444 razglasil za trg. Trg so zaradi vse hujših turških vpadov morali premakniti na višji grič. Zgradili so obzidje in obrambne stolpe, kar je bil tudi pogoj za pridobitev mestnih pravic.
9. julija 1478 je Friderik III. tedanjemu trgu podelil mestne pravice zaradi strateško pomembne vloge pri obrambi pred turškimi vpadi. Od srednjeveške naselbine je delno ostalo ohranjeno mestno obzidje in stolp ter razvaline Starega gradu gospodov Višnjegorskih iz 11. stoletja (520 mnm).
Leta 1496 so Višnjani ustanovili mestno šolo, ki je bila 9. v današnji Sloveniji. Višnja Gora je imela tudi svoje sodišče, ki se je nahajalo v dvorcu višnjegorskih grofov. Sodišče so kasneje premestili v Grosuplje.
Pred drugo svetovno vojno je bil kraj sodni okraj, po njej občina, danes pa je krajevna skupnost znotraj občine Ivančna Gorica.
Mestece Višnja Gora v zadnjih letih spet dobiva prijazno in vzpodbudno podobo. Z okolico je zanimivo za mnoge mlade priseljence. Število prebivalcev se je v zadnjih desetih letih povečalo za več kot 11 odstotkov. V kraju je bila urejena kanalizacija, energetsko je bil prenovljen vrtec Polžek, na Leskovški planoti zgrajen vodovod. Poteka več projektov, ki vdihujejo Višnji Gori novi zagon.
Višnja Gora ima svoj grb in zastavo.