Вильяндиская Лестничная гора основана в конце 19 - начале 20 века в целях улучшения связи между городом и озером.Лестница состоит из пяти пролётов и 158 ступенек.
Первые упоминания о церкви в Пайсту относятся к 1329 году в описании набегов литовцев. Построенная, по-видимому, в конце 13-го века каменная церковь первоначально была без башни.