En Crivillén, el medio físico con su accidentada topografía ha condicionado extraordinariamente la estructura urbana, que ha tenido que adaptarse al terreno quebrado de una ladera surcada por barrancos que se dirigen al río Escuriza. Sin embargo, la morfología de nuestro pueblo se explica a partir de su génesis histórica a finales del siglo XII y primeras décadas del XIII. El asentamiento originario conforma una trama urbana muy racional, con parcelas de pequeño tamaño, de forma sensiblemente rectangular, con poca fachada, de dos o tres alturas y distribuidas con cierta regularidad. Esta distribución todavía es visible en la parte alta del pueblo en la calle la Fuente y la calle Egido. De estos primeros siglos conservamos un edificio público, las antiguas cárceles, de planta cuadrada, con un arco gótico apuntado en su interior y que hoy forman parte del Ayuntamiento.

El crecimiento económico y demográfico durante el siglo XVI tiene su reflejo en la ampliación del casco urbano y en el desarrollo de la arquitectura civil. Es una época en la que nobleza y ricos-hombres se afanaban en hacer ostentación de su estatus social a través de magníficas casas solariegas. En Crivillén este fenómeno se da a escala muy modesta, como atestiguan algunas casas con arcadas de piedra sillar.

El Ayuntamiento renacentista es el edificio más importante de este periodo. Fue construido entre 1560 y 1580, en la cabecera de una nueva plaza mayor creada con motivo de la ampliación urbana de la centuria, la actual plaza del Horno, muy reducida respecto a sus dimensiones originales. Responde al modelo de casa concejil con lonja abierta en la planta baja (denominada Almudines) mediante dos arcos que sustentan la planta noble. En la crujía posterior estaba el cuadro de escaleras y en la planta superior la escribanía y el archivo. Esta zona se anexó a una vivienda particular y ahora el acceso al piso superior es por las antiguas cárceles.

Si el siglo XVI es el de las construcciones civiles, puesto que a las ya mencionadas habría que añadir el hospital, situado frente a la Iglesia, del que ya tenemos constancia en 1601, y que hoy acoge el bar polivalente, la biblioteca y el consultorio, y el horno de pan cocer edificado con posterioridad al ayuntamiento, frente a él y que en la actualidad es un pequeño parque; el siglo XVIII es el de las construcciones religiosas, muy relacionadas con el mecenazgo episcopal y con la nueva orientación proselitista de la Iglesia Católica.

Por encima de todos los edificios, sobresale la iglesia parroquial de San Martín de Tours con su torre campanario convertida en hito del conjunto urbano. Se trata de un edificio barroco construido entre 1728 y 1735, de tres naves de igual altura, separadas por arcos de medio punto sustentados por recios pilares. La nave central está cubierta por tres cúpulas vaídas, la del centro linterna, y las laterales con bóveda de medio cañón con lunetos. Las cúpulas de la nave central descansan sobre pechinas que decoran estucos de los evangelistas y otros santos. En el exterior destaca una estatua ecuestre de San Martín muy deteriorada en la portada y, sobre todo, la esbelta torre, declarada Bien de Interés Cultural en 1982. Se trata de un modelo arquitectónico típicamente barroco construida en ladrillo y con motivos decorativos de inspiración mudéjar. Situada a los pies del lado de la epístola tiene cuatro cuerpos octogonales con pilares en las esquinas achaflanadas, y en el primero, cuatro columnas adosadas. Posee un remate singular, pues ya antes de 1789 se desmontó el capitel por amenazar ruina y no haber medios para recomponerlo.

En la parte baja del casco urbano, al sur, encontramos en una recogida placeta, la iglesia del patrón de Crivillén, San Gil, con una portada muy semejante a la parroquial. Es una construcción también barroca de finales del siglo XVII o principios del XVIII, obra de mampostería con una sola nave que se cubre con bóveda de medio cañón con lunetos, y el crucero con cúpula y linterna. La nómina de edificios religiosos se completa con la ermita de San Juan en el barrio de los Mases, construida en 1783; con la ermita de Santa Bárbara cuyo año de construcción grabado en su portada es indescifrable y desde la que se tiene una hermosa perspectiva a vista de pájaro de Crivillén y del valle del Escuriza hasta la finca de la Codoñera; y con el original calvario, probablemente del siglo XIX, situado tras la cabecera de la iglesia y recientemente restaurado, en el que las estaciones se suceden en espiral hasta la iglesia del Santo Sepulcro.