Храм Покрова Пресвятой Богородицы возведен в 1822 году на средства купцов Севастиана и Федора Андрониковых. Храм относится к стилю позднего классицизма. Это один из немногих рыльских храмов, избежавших погромов после Октябрьской революции.
Дом фон-Филимонова в Рыльске - великолепное здание по типу столичных дворянских особняков, построенное купцом-миллионером фон-Филимоновым. Архитектор - Карл Фридрихович Шольц. В настоящее время в доме Филимоновых находится Детская школа искусств.
Археологические раскопки на горе Иоанна Рыльского свидетельствуют, что поселение на месте города Рыльск существовало задолго до XII века. Именно на этой горе был зарождён современный Рыльск.
В 1798 году в Рыльске фон-Фолимонов приобрел земельный участок для строительства каменных торговых рядов и большого трехэтажного Общественного дома. После постройки Общественного дома Фолимоновы передали его городу.
Рыльский краеведческий музей - старейшее культурно-просветительное учреждение города. Он является обладателем уникальных коллекций: художественной, археологической, нумизматической, коллекции редкой книги.