Церковь Вознесения Господня расположена в южной части центра города, на вершине склона, на углу улиц Луначарского и Ленина. Автором постройки является Каменев Н. Г. - почетный гражданин Рыльска. Церковь построена в псевдовизантийском стиле.
В 1798 году в Рыльске фон-Фолимонов приобрел земельный участок для строительства каменных торговых рядов и большого трехэтажного Общественного дома. После постройки Общественного дома Фолимоновы передали его городу.
Храм Покрова Пресвятой Богородицы возведен в 1822 году на средства купцов Севастиана и Федора Андрониковых. Храм относится к стилю позднего классицизма. Это один из немногих рыльских храмов, избежавших погромов после Октябрьской революции.
В конце XVIII века купец-миллионер фон Филимонов построил в Рыльске трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже дом отдали под духовное училище. Сегодня в этом здании размещается Рыльский аграрный техникум.