Собор Успения Пресвятой Богородицы расположен в центральной части города, на пересечении улиц К. Маркса и Свердлова. Собор был построен в архитектурных традициях зрелого классицизма на средства купца И. Ф. Филимонова в 1797-1811 годах.
Храм Покрова Пресвятой Богородицы возведен в 1822 году на средства купцов Севастиана и Федора Андрониковых. Храм относится к стилю позднего классицизма. Это один из немногих рыльских храмов, избежавших погромов после Октябрьской революции.
Дом фон-Филимонова в Рыльске - великолепное здание по типу столичных дворянских особняков, построенное купцом-миллионером фон-Филимоновым. Архитектор - Карл Фридрихович Шольц. В настоящее время в доме Филимоновых находится Детская школа искусств.
В Рыльске была и старообрядческая церковь, построенная в 1737 году, называлась она Покровской, затем Благословенной. В 1910 году рядом с ней была возведена колокольня - всё, что осталось от Покровской церкви до наших дней.