Dès ses origines ou peu de temps après, Conques devient une ville close, l'une des premières du Rouergue probablement. La construction des remparts remonte en effet à l'époque romane, comme le prouve l'architecture des trois portails d'enceinte encore existants. La Porte de Fer, une simple poterne, possède un linteau en bâtière identique par sa forme à celui du portail sud de l'abbatiale, tandis que les deux autres, les portes du Barry (ou faubourg) et de la Vinzelle, voûtées en berceau, s'ouvrent extérieurement par un arc plein cintre doublé d'un arc de décharge. La Porte du Barry présente même toutes les caractéristiques d'un édifice du XIe siècle avec ses volumineuses impostes supportant les retombées de l'arc en grès rouge.
Par la suite, l'enceinte fut remaniée ou renforcée à plusieurs reprises, en particulier devant la menace des routiers, au cours de la guerre de Cent Ans. Mais son tracé initial (un rectangle de 250 mètres sur 150 environ, orienté nord-ouest/sud-est) a été respecté. Il demeure parfaitement visible, dans la partie haute du village, à proximité du Centre Européen, et surtout dans le secteur bordant le cimetière actuel et le cloître surplombant le ravin de l'Ouche. Là, les remparts servirent aussi de mur de soutènement pour les bâtiments de l'abbaye, ce qui explique leur énorme appareil de schiste et leurs contreforts, inconnus ailleurs. Quelques tours seulement restent en place, à peu près intactes, notamment celle qui défendait la Porte de la Vinzelle, au nord-ouest, et la tourelle en encorbellement du cimetière.
