Форт Фредерик был построен в 1760 году голландским правительством для защиты экономических интересов акватории порта Фредерикстед и защиты от пиратов и контрабандистов. Форт Фредерик был свидетелем двух важных событий, которые привели к изменениям в экономике Виргинских островов. В 1848 году восстание Эмансипации положило конец рабству в Голландской Вест-Индии, но дало начало 30-летнему периоду крепостничества, основанному на рабочей силе по контракту, который гарантировал тотальный контроль над работниками владельцам плантаций. Тогда в 1878 году возрастающее напряжение отношений переросло в трудовой бунт, который прекратил действие подобной системы рабочих контрактов.
На протяжении многих лет Форт Фредерик использовался в качестве: военного гарнизона, отделения полиции, библиотеки, отделения пожарной охраны, городского суда, телефонной станции. В настоящее время - это памятник архитектуры и одна из основных достопримечательностей острова.