La Ermita de la Esperanza se ubica en un espacio contiguo al Monasterio y según algunas referencias datan al menos desde el siglo XIV, en el año 1858 la reconstruyo el Obispo de Segorbe D. Domingo Canubio y ya en 1906 la restaura con mayor solidez D. Lamberto Perpiñan, Canónigo de Segorbe.
Los segorbinos se desplazan en Romería durante las Fiestas Patronales a venerar la imagen de la Virgen de la Esperanza así como el 18 de diciembre, su onomástica. También las localidades de Altura y Navajas celebran esta festividad.