Originariamente il castello era un monastero e l’attuale torre ne costituiva il campanile. Nel corso del XV sec. fu aggiunta una prima struttura difensiva dai Marchesi del Carretto a cui fecero seguito successive ristrutturazioni ed ampliamenti. Oggi il castello ha una facciata seicentesca e mantiene sul retro la caratteristica loggia cinquecentesca. La famiglia Carretto a metà del XIX sec. cedette la proprietà alla famiglia Della Rovere a cui seguì la famiglia Polleri di Genova che la vendette al Comune, attuale proprietario.