Парк находится в первобытной ложбине и получил свое имя от развалин бывшего орденского замка. Тогда как в 19 веке на другой стороне процветал город, появилась необходимость в месте для отдыха.
Вильяндиская Лестничная гора основана в конце 19 - начале 20 века в целях улучшения связи между городом и озером.Лестница состоит из пяти пролётов и 158 ступенек.