Los habitantes de aquellas tierras eligieron un nuevo emplazamiento: lo que hoy conforma nuestra Villa. Allí, en lo alto, se construyó un castillo y, a su alrededor, surgieron las primeras casas, rodeadas por una muralla. Era un buen lugar defensivo con unas vistas perfectas de toda la vega del río Ebro. Siglo a siglo, el villorrio fue creciendo hasta convertirse en el pueblo que actualmente es.
Poco a poco, el antiguo monasterio comenzaría su progresivo deterioro hasta su completa destrucción.
Aunque, según las crónicas, no fue la única construcción que se hallase extramuros. En el lugar donde actualmente se encuentra la Plaza de los Fueros (el comúnmente llamado Rebote) hubo una ermita dedicada al mártir San Adrián, nacido en Constantinopla a finales del siglo III y convertido al Cristianismo. No es el único lugar cercano donde se venera al Santo (muy cerca de aquí, tenemos, por ejemplo, a Autol, cuyos Patronos son San Adrián y su esposa, Santa Natalia).