El acceso a los Fuertes de Loreto y Guadalupe es precedido por un espléndido arco, sobreviviente de los que custodiaron por siglos las entradas a la Angelópolis. En la cara sur del arco se observa el escudo de la ciudad y en el remate el arcángel San Miguel, patrono de la misma.
En el cerro se estableció, a lo largo de la colonia, un conjunto de ermitas que se convirtieron más tarde en capillas. Hacia fines del siglo XVII, la ermita de Loreto sufrió transformaciones arquitectónicas al reconstruirse según la tradición de la Casa de Loreto. Así los muros exteriores circundaron a la capilla interior compartiendo con ella la techumbre y la única puerta, de manera que el edificio exterior rodea al interior como un corredor cerrado. La portada del templo exterior es de dos cuerpos y está decorada con relieves de argamasa al estilo poblano de la época. La portada de la Casa de Loreto presenta un arco carpanel en cuya rosca se prolongan los relieves de las ambas.
Este sitio adquirió importancia logística en la defensa de la ciudad, dada su ubicación topográfica. En 1815 se comenzó allí la fortificación del cerro y desde entonces formó parte en los sitios que ha sufrido la ciudad. Durante la batalla del 5 de mayo de 1862, el Fuerte de Loreto estuvo ocupado por tropas del General Berriozábal, en tanto que en Guadalupe se situó el General Zaragoza.