Etwa zwischen dem 5. und 11. Jahrhundert wurde die römische Siedlung Circeii von der inzwischen kleinen Bevölkerung verlassen, die sich vor allem an den Hängen des Berges in verstreuten, meist behelfsmäßigen Behausungen niederließ, die feindlichen Angriffen weniger ausgesetzt waren.
Obwohl der Rocca seit jeher die wesentliche Rolle bei der Verteidigung der Küste und als sicherer Landeplatz für Seeleute vor der tyrrhenischen Küste zuerkannt wurde – sie wird sogar als Bucht der Araber im „Buch des Königs Roger“ erwähnt, das 1154 der arabische Geograf al-Idrisi verfasste –, erscheint sie offiziell erst in den ersten Jahren des 12. Jahrhunderts in päpstlichen Urkunden, als Papst Paschalis II. (1099-1118) sie Hugo von Alatri, Kardinal der Zwölf Apostel, anvertraute.
Mittelalterliche Urkunden des 11. und 12. Jahrhunderts sprechen unbestimmt von „Rocca de Circegio“, „Rocca Circea“, „locus qui vocatur Circellu“, während der Name Castrum Sancti Felicis erst später, 1259, auftaucht. In einem Tauschvertrag von 1170 zwischen den Frangipane, Herren von Terracina, und Rainone von Tusculum zeichnet sich das Gebiet des Circeo ab, und man erkennt eine kleine Siedlung in unserem Ort: Neben der „Rocca de Circegio“ wird das „tenimentum S. Felicis cum insula“ erwähnt, eine Kirche mit ihrem Zubehör (den insulae).
Die Lage der Rocca bleibt unsicher, doch jüngere Studien vermuten, dass die Festung im Mittelalter auf dem höchsten Punkt des Berges stand, auf den Fundamenten der alten, Circe geweihten Kultstätte – eine Annahme, die durch frühmittelalterliche Funde vor Ort gestützt wird.
Für den Bau eines echten befestigten Dorfes oder castrum musste man jedoch bis zur zweiten Hälfte des 13. Jahrhunderts warten, als die Rocca und der Berg in den Besitz der römischen Präzeptorei Santa Maria auf dem Aventin übergingen, Sitz des Provinzialmeisters der Tempelritter in Italien.
Die Anwesenheit der Tempelritter am Circeo ist von nach 1239 bis 1259 anzusetzen. Ihnen verdankt man die Wiederbesiedlung der alten römischen Siedlung Circeii, den Bau des wunderbaren Turms, der noch heute mit seiner Masse die Piazza Vittorio Veneto beherrscht, und den Wiederaufbau der Befestigungsmauern auf römischen Resten, die die römische Siedlung in eine noch heute erkennbare mittelalterliche Burg verwandelten.
Die Templermauer umschließt die Altstadt an der Westseite beim Piazzale San Francesco, setzt sich an der Südseite in der Via Gino Rossi im Anschluss an die Zyklopenmauern aus dem 6. Jahrhundert v. Chr. fort und verläuft in der Nordostecke beim Garten von Vigna la Corte.
Der sicher am besten erhaltene Abschnitt der mittelalterlichen Mauer am Piazzale San Francesco besaß in regelmäßigen Abständen zwei hohle rechteckige Halbtürme, die noch heute zu sehen sind; neben ihnen lagen die beiden ursprünglichen Zugänge des mittelalterlichen Ortes, heute durch Vermauerungen und moderne Gebäude verschlossen. Die Ecken dieser Türme sind mit gut behauenen Kalksteinquadern verstärkt. Ein kurzes Stück Zinnenkranz ist noch erhalten; sein Profil zeigt die ursprüngliche Höhe, die heute wegen der starken Aufschüttung des Umfelds recht bescheiden wirkt.
Die Bautechnik ist dieselbe wie beim Templerturm: Kalksteinblöcke in unregelmäßigen, welligen Lagen, abwechselnd mit Lagen wiederverwendeter Ziegelsteinchen oder Bruchstücken von Marmorplatten. Diese Unregelmäßigkeit ist nicht entlang der ganzen Mauer gleich, sondern prägt besonders die Nord- und Westseite, während an der dem Meer zugewandten Ostseite die Lagen fast gerade verlaufen.