Il promontorio, probabilmente già abitato dagli etruschi, entrò nella proprietà personale della famiglia degli Enobarbi-Domizi che la ottennero come risarcimento delle somme da loro prestate alla repubblica romana durante la seconda guerra punica; da quest’atto probabilmente deriva il nome del monte, in quanto la famiglia era anche nota anche come “degli Argentari” (nell’antica Roma cosଠerano chiamati i prestatori di denaro), da cui il nome Mons Argentarii.
Il monte entrò poi nella dote degli imperatori, finchà Costantino nel IV secolo la donò alla chiesa romana. Nel medioevo, anche in conseguenza del minor traffico che si svolgeva sulla via Aurelia e del progressivo impaludamento della Maremma, questi luoghi rimasero a lungo poco abitati.
Nel basso medioevo il monte segui le sorti di Orbetello, per cui passò nei domini degli Aldobrandeschi, degli Orsini, di Ladislao re di Napoli e di Siena, per finire poi sotto il dominio degli spagnoli intorno alla metà del Cinquecento. Questi fortificarono pesantemente il monte e i due porti, facendone il perno difensivo dello Stato dei Presidii e riattivando la vita civile di questi luoghi. Gli Spagnoli, all’epoca della loro dominazione su queste terre, costruirono sul monte, ma anche lungo l’intera costa tra Talamone ed Ansedonia, tutta una serie di fortezze e torri di avvistamento in modo da garantirsi il controllo sul Mar Tirreno. Tra queste, notevoli sono la Fortezza Spagnola a Porto Santo Stefano e Forte Filippo, Forte Stella e la Rocca aldobrandesca a Porto Ercole.
