L’edificio di stile romanico del sec. XII fu progettato e costruito negli anni 1100 – 1125 da “magistri antelami” provenienti dalle valli di Como e di Lugano o da maestri comacini.
La chiesa fu consacrata il 3 maggio 1237 da Gerardo patriarca di Gerusalemme. Durante la guerra la chiesa subì danni il dallo spostamento d’aria causato dal bombardamento sul porto il 4 settembre 1944.
S. Maria di Castello è la Chiesa del Cristo miracoloso, Crocifisso ligneo medioevale della Compagnia del Mandiletto, collocato sul fondo della navata centrale della chiesa, che si dice portato dai Crociati dalla Terrasanta nel XII-XII secolo.
Vi è anche un quadro della Madonna delle Grazie dinanzi al quale pregò S. Caterina da Genova.