Парк находится в первобытной ложбине и получил свое имя от развалин бывшего орденского замка. Тогда как в 19 веке на другой стороне процветал город, появилась необходимость в месте для отдыха.
Конный памятник, возведенный в честь верховного главнокомандующего эстонских войск в ходе Освободительной войны генерала Йохана Лайдонера, является уникальным монументом подобного рода в Эстонии.