Сооружение каменной крепости было начато в 1224 году на месте городища древних эстонцев. Свой законченный облик и размер крепость обрела в начале 16 века, став одной из самых выдающихся на территории Эстонии и Латвии. Всвязи с войнами между Швецией, Польшой и Россией, от мощной крепости сегодня осталась только пара каменных стен.
Развалины крепости и окружающий ее парк стали местом отыха для жителей Вильянди еще в начале прошлого столетия. Что бы можно было пройти от центра города к замку через крепостной ров в 1931 году был перекинут висячий мост, глубина рва под ним - 13 метров. С развалин открывается прекрасный вид на озеро Вильянди.