Первые упоминания о церкви в Пайсту относятся к 1329 году в описании набегов литовцев. Построенная, по-видимому, в конце 13-го века каменная церковь первоначально была без башни.
В кафе-ресторане, расположенном между стенами крепости толщиной в метр, можно насладиться блюдами современной эстонской кухни и послушать яркие рассказы хозяина дома об истории этого дома.
Православная церковь Святого Георгия в Палдиски – типичный пример каменной церкви в стиле классицизма с элементами барокко, построенный в 1784-1787 годы.