Церковь сооружена из бутового камня и кирпича и была выстроена в 1907 г. В строительстве церкви активное участие приняли литовские и польские железнодорожники.
Хельме-Тырваская апостольская православная церковь рождения Христа была построена на улице Валга в 1903-194 гг. Строительным мастером являлся Карл Шурин.
Решающим в жизни Валга как небольшого городка стал год 1886, когда был утвержден план строительства железной дороги Псков-Рига с веткой из Валги в Тарту.