Tra il V e l'XI secolo circa, l’abitato romano di Circeii fu abbandonato dalla popolazione locale, ormai esigua, che si stanziò prevalentemente lungo le pendici del monte, in strutture insediative sparse, prevalentemente di fortuna, ma meno esposte agli assalti nemici.
Nonostante fin da tempi remoti alla Rocca sia stata riconosciuta l’essenziale funzione di difesa della costa e di approdo sicuro per i marinai che passavano al largo del Mar Tirreno - tanto da venir citata con l’appellativo di Cala degli Arabi nel “Libro di Re Ruggero” compilato nel 1154 dal geografo arabo Edrisi - essa entra ufficialmente negli atti papali nei primissimi anni dell'XI secolo quando papa Pasquale II (1099-1118) l’affida ad Ugo di Alatri, cardinale dei XII Apostoli.
Nei documenti medievali compresi tra l’XI e il XII secolo si parla indefinitamente di “Rocca de Circegio”, “Rocca Circea”, “locus qui vocatur Circellu”, mentre il toponimo di Castrum Sancti Felicis appare per la prima volta solo posteriormente, nel 1259. In un atto di permuta del 1170 tra i Frangipane, signori di Terracina, e Rainone di Tuscolo, incomincia a delinearsi il territorio afferente al Circeo e ad individuarsi un piccolo insediamento demico nel nostro paese, ovvero oltre alla “Rocca de Circegio” è menzionato il “tenimentum S. Felicis cum insula”, che sta ad indicare una chiesa con le sue pertinenze (le insulae).
Rimane dubbia la collocazione della Rocca, anche se in studi recenti si è avanzata l’ipotesi che il fortilizio in epoca medievale fosse stato eretto sul punto più alto del monte, ovvero sulle fondamenta dell’antico luogo sacro dedicato a Circe, ipotesi confermata dal ritrovamento in situ di resti riconducibili all’epoca altomedievale.
Tuttavia per la costruzione di un vero e proprio borgo fortificato o castrum si deve attendere la seconda metà del XIII secolo, quando la Rocca e il monte entrarono a far parte dei possedimenti della precettoria romana di Santa Maria sull’Aventino, sede del maestro provinciale dei Cavalieri Templari dell’Italia.
Gli estremi cronologici della permanenza dei Cavalieri Templari al Circeo sono da fissarsi dopo il 1239 e fino al 1259. Ad essi si deve il ripopolamento dell’antico abitato romano di Circeii, l’edificazione della meravigliosa Torre, che ancora oggi con la sua mole domina piazza V. Veneto, e la ricostruzione delle mura di fortificazione sulle preesistenze di epoca romana, che trasformarono l’abitato romano in un castello medievale tuttora ancora leggibile.
La muraglia templare cinge il perimetro del Centro storico nei lati ovest, presso piazzale San Francesco, prosegue nel lato sud, sviluppandosi in via Gino Rossi in continuità con le Mura Ciclopiche del VI secolo a.C., e nell’angolo nord-est, presso il giardino di Vigna la Corte.
Il tratto di Mura medievali presso piazzale San Francesco, sicuramente il meglio conservato, era munito, a distanza regolare, di due semitorri rettilinee cave, tutt’ora visibili, a fianco delle quali si disponevano i due accessi originari dell’abitato medievale, ostruiti da tamponature ed edifici moderni. Gli spigoli di queste torri sono rafforzati da conci di calcare ben squadrati. È ancora visibile un breve segmento di merlatura il cui profilo ne determina l’altezza originaria, che ad oggi risulta alquanto modesta per il considerevole interramento dell’area circostante.
La tecnica costruttiva è la medesima usata per la Torre dei Templari: i blocchi di calcare sono disposti in filari dall’andamento irregolare e ondulatorio intervallati ora da filari di mattoncini di recupero ora da frammenti di lastre di marmo. L’irregolarità della messa in opera descritta non è costante lungo tutte le mura ma caratterizza in modo particolare il perimetro del lato settentrionale e occidentale, mentre nelle mura del lato orientale, prospicienti verso il mare, l’andamento dei filari è quasi rettilineo.