В конце XVIII века купец-миллионер фон Филимонов построил в Рыльске трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже дом отдали под духовное училище. Сегодня в этом здании размещается Рыльский аграрный техникум.
Собор Успения Пресвятой Богородицы расположен в центральной части города, на пересечении улиц К. Маркса и Свердлова. Собор был построен в архитектурных традициях зрелого классицизма на средства купца И. Ф. Филимонова в 1797-1811 годах.