Дом фон-Филимонова в Рыльске - великолепное здание по типу столичных дворянских особняков, построенное купцом-миллионером фон-Филимоновым. Архитектор - Карл Фридрихович Шольц. В настоящее время в доме Филимоновых находится Детская школа искусств.
Рыльский краеведческий музей - старейшее культурно-просветительное учреждение города. Он является обладателем уникальных коллекций: художественной, археологической, нумизматической, коллекции редкой книги.
В 1798 году в Рыльске фон-Фолимонов приобрел земельный участок для строительства каменных торговых рядов и большого трехэтажного Общественного дома. После постройки Общественного дома Фолимоновы передали его городу.
Церковь Вознесения Господня расположена в южной части центра города, на вершине склона, на углу улиц Луначарского и Ленина. Автором постройки является Каменев Н. Г. - почетный гражданин Рыльска. Церковь построена в псевдовизантийском стиле.
Город Рыльск является родиной "Российского Колумба" - исследователя, мореплавателя, промышленника и купца Григория Ивановича Шелихова. Знаменитому земляку установлен памятник у входа в городской парк имени Горького.