Die Bauarbeiten der Steinfestung an Stelle des ehemaligen Festungswerkes der Esten fingen im Jahr 1224 an. Ihre vollständige Form und Grösse erhielt die Burg zu Beginn des 16. Jahrhunderts. Zu dieser Zeit gehörte sie zu den auffälligsten auf dem Gebiet Estlands und Lettlands. Aufgrund der Kriege zwischen Schweden, Polen und Russland sind heute nur einige Steinmauern erhalten geblieben.

Die Burgruine und der Park wurden für die Einwohner von Viljandi schon zu Beginn des letzten Jahrhunderts zu einem Erholungsgebiet. Im Jahre 1931 wurde über den 13 m tiefen Graben eine Hängebrücke gebaut, damit man von der Stadt in die Schlossberge gehen kann. Von der Ruine aus hat man einen wunderschönen Ausblick auf den See Viljandi.