Город Рыльск является родиной "Российского Колумба" - исследователя, мореплавателя, промышленника и купца Григория Ивановича Шелихова. Знаменитому земляку установлен памятник у входа в городской парк имени Горького.
Собор Успения Пресвятой Богородицы расположен в центральной части города, на пересечении улиц К. Маркса и Свердлова. Собор был построен в архитектурных традициях зрелого классицизма на средства купца И. Ф. Филимонова в 1797-1811 годах.
В 1798 году в Рыльске фон-Фолимонов приобрел земельный участок для строительства каменных торговых рядов и большого трехэтажного Общественного дома. После постройки Общественного дома Фолимоновы передали его городу.
Рыльский краеведческий музей - старейшее культурно-просветительное учреждение города. Он является обладателем уникальных коллекций: художественной, археологической, нумизматической, коллекции редкой книги.