Парк находится в первобытной ложбине и получил свое имя от развалин бывшего орденского замка. Тогда как в 19 веке на другой стороне процветал город, появилась необходимость в месте для отдыха.
Первые упоминания о церкви в Пайсту относятся к 1329 году в описании набегов литовцев. Построенная, по-видимому, в конце 13-го века каменная церковь первоначально была без башни.