La fortezza, che domina il borgo di Talamone, fu costruita a metà del XIII secolo per volontà degli Aldobrandeschi, con funzioni di avvistamento e difesa del sottostante approdo. Ampliato e ristrutturato dai senesi nel secolo successivo, fu ulteriormente modificato nel XV secolo. Semidistrutto da alcune incursioni dei pirati, fu restaurato nella seconda metà del XVI secolo.