Первые упоминания о Castel Sant 'Elmo датированы 1275 годом. В 1329 Роберт Анжуйский доверил ее дальнейшее расширение Сиенскому архитектору и скульптору Тино ди Camaino, который в дальнейшем преобразует здание в настоящее сокровище для короля и двора. Четырехугольное сооружение с двумя башнями, в 1348 классифицирован как Castrum Sancti Erasmi, c часовней в честь Sant’Erasmo.
Во время Испанского наместничества (1504-1707) замок, назывался Sant'Ermo и только спустя какое-то время Sant’ Elmo. Со временем замок был преобразован в оборонительную крепость. После всех изменений, на сегодняшний день здание имеет форму звезды. С начала 1537 года и в 1538 году на входе был размещён герб Карла V Габсбургский двуглавый орел.
В 1547 году Петр Прато построил церковь, которая была разрушена ударом молнии в 1587 году в месте с военной казармой и комнатой смотрящего за замком. Между 1599 и 1610 годами в замке велись ремонтные работы под руководством Доменико Фонтана, в течение строительства церковь была перестроена в центре площади,в месте с комнатой смотрящего и подъёмным мостом.
С 1860 замок Sant’Elmo был использован в качестве военной тюрьмы до 1952 года. В последствии крепость числилась как военное имущество до 1976 года.
В 1982 году памятник был передан в собственность Главному художественному и историческому наследию Неаполя, который продолжил основные работы по восстановлению и реконструкции новых и современных выставочных помещений.
В настоящее время в замке располагается музей Museo Novecento Napoletano и Библиотека истории искусств Бруно Молажоли (Bruno Molajoli).