В конце XVIII века купец-миллионер фон Филимонов построил в Рыльске трехэтажный дом с колоннами на высоких пилонах, зубчатым карнизом и фронтоном. Позже дом отдали под духовное училище. Сегодня в этом здании размещается Рыльский аграрный техникум.
Город Рыльск является родиной "Российского Колумба" - исследователя, мореплавателя, промышленника и купца Григория Ивановича Шелихова. Знаменитому земляку установлен памятник у входа в городской парк имени Горького.
Археологические раскопки на горе Иоанна Рыльского свидетельствуют, что поселение на месте города Рыльск существовало задолго до XII века. Именно на этой горе был зарождён современный Рыльск.
Собор Успения Пресвятой Богородицы расположен в центральной части города, на пересечении улиц К. Маркса и Свердлова. Собор был построен в архитектурных традициях зрелого классицизма на средства купца И. Ф. Филимонова в 1797-1811 годах.
В Рыльске была и старообрядческая церковь, построенная в 1737 году, называлась она Покровской, затем Благословенной. В 1910 году рядом с ней была возведена колокольня - всё, что осталось от Покровской церкви до наших дней.