Près du couvent, comme l’indique le nom qu’il conserve depuis l’Antiquité, devaient se trouver les bâtiments d’habitation des Templiers, installés au Circeo au milieu du XIIIe siècle. Les interventions modernes ne permettent toutefois de restituer qu’en partie son aspect d’origine, même si un plan de la Terre de San Felice du début du XIXe siècle aide dans cette tâche difficile.
Ce plan montre à quoi devait ressembler au Moyen Âge le locum fortifié de San Felice. La zone fortifiée, dominée par la Tour des Templiers, était nettement séparée de l’agglomération proprement dite, où se trouvaient les maisons de la population locale ainsi que de petites parcelles et des vignes.
Ce que l’on appelle aujourd’hui le Couvent était une sorte de galerie à portiques qui servait de façade d’apparat pour donner un caractère monumental à l’entrée des bâtiments habités par les Chevaliers. Ce corps rectangulaire à deux niveaux était perpendiculaire au flanc est de l’église.
L’église du couvent ne se trouvait pas en effet à l’emplacement de l’actuelle paroisse de San Felice, mais entre la Chapelle des Templiers, aujourd’hui siège de la Pro Loco, et la porte par laquelle on entre actuellement sur la place de la mairie depuis le Piazzale San Francesco. On conserve de cette église le linteau du portail d’entrée, toujours à sa place d’origine.
Les bâtiments où logeaient les moines, auxquels s’ajoutaient l’église conventuelle, la Tour et la Salle d’apparat, étaient séparés du reste du locum fortifié ; on y accédait par l’arc qui mène de la piazza Vittorio Veneto à la Piazzetta del Convento, car les deux portes par lesquelles on entre aujourd’hui sur la place de la mairie n’existaient pas au Moyen Âge.