Le origini e la storia di Pozzallo sono anch’esse strettamente legate al mare, ai suoi approdi, alle sue spiagge, alla sua felice posizione geografica, che ne hanno segnato il percorso storico, da borgo marinaro della Contea di Modica alla sua nascita, come comune autonomo nel 1829. Sebbene alcune scoperte archeologiche del primo Novecento hanno fatto ipotizzare la presenza di insediamenti umani nel territorio risalenti all’epoca classica, Pozzallo assume comunque importanza, dal punto di vista storico intorno al XV secolo. A quell’epoca era un borgo scarsamente abitato della Contea di Modica, dove esistevano solo alcuni magazzini utilizzati per ricevere “ le gabelle “ dovuti al Conte dai proprietari terrieri, che erano obbligati a versare annualmente una determinata quantità di frumento. Furono i Chiaramonte, divenuti signori della Contea di Modica (1296-1392 ), ad intuire che Pozzallo, con la sua ampia spiaggia e la sua posizione, poteva essere di strategica importanza per gli interessi della Contea e diventare un porto mercantile per la commercializzazione dei sui prodotti verso Malta e verso altri paesi del mediterraneo. Nella parte di costa compresa tra la spiaggia Pietre Nere e la “ Balata” (incrocio di latino ed arabo a significare letteralmente “lastrone di pietra”) fu costruito il “ Caricatore”, un complesso formato da vastissimi magazzini, tutti edificati sulla costa, dove venivano convogliati i prodotti della contea (carrube, grano, orzo), e da una serie di pontili e di scivoli, per l’imbarco dei prodotti sui velieri.Pozzallo divenne ben presto uno degli scali più importanti della Sicilia e porto d’imbarco per le merci dirette a Malta e nei vari paesi del Mediterraneo. Sotto i Conti Cabrera, succeduti ai Chiaromonte nel 1392, furono costruiti nuovi magazzini e un pontile per l’ormeggio delle navi. A difesa dei magazzini del Caricatore e della vasta zona costiera , dalle frequenti incursioni dei pirati , Giovanni Bernardo Cabrera ottenne, dal re di Sicilia Alfonso V d’Aragona, nel 1429, l’autorizzazione a costruire la Torre . Ancora oggi “ l’impietrita sentinella”conserva intatto il suo fascino di custode della memoria del piccolo borgo marinaro ed è il monumento simbolo di Pozzallo.
La Torre si erge quadrata e maestosa, con la merlata terrazza prorompente sul mare, nella parte centrale dell'insenatura, come ideale punto di raccordo di tutto il litorale pozzallese. Al suo interno,oltre ai soldati, viveva “ il Regio Maestro Portolano “ che era il “responsabile “della Torre.Nominato direttamente dal Conte, era il massimo dirigente civile,amministrativo e militare della zona costiera ed era colui il quale sovrintedeva a tutte le operazioni di vendita e di imbarco che si svolgevano nei magazzini.In queste vicende sono da individuare i presupposti per l’incremento economico e demografico dell’antico piccolo borgo di Pozzallo che, per molto tempo ancora,fu fonte di ricchezza per i Conti e la Contea di Modica, senza che la piccola Comunità potesse gestire il fiorente traffico commerciale, mentre il Caricatore attirò le attenzioni di facoltose famiglie modicane, napoletane e genovesi.
Alle spalle della medievale fortezza, nel secolo XVIII si sviluppò il nucleo abitato più antico della città di Pozzallo. Esso, sorto nelle vicinanze del complesso portuale,ancora oggi, riassume, nell’intreccio di vicoli e di stradine, la memoria storica e collettiva di Pozzallo :“Vanedda Vicci”, “Senia”, ”Scaro”, sono appellativi di sapore locale che indicano quegli insediamenti abitativi e che ricordano significative presenze di un’organizzazione sociale, su cui si è costruita la recente storia economico – sociale della città.