La ermita de Santa Bárbara se localiza en el antiguo Barrio o Raval del Agua Limpia, en el que los Duques de Segorbe levantaron su nueva residencia (hoy Ayuntamiento) en el siglo XVI. En la parte posterior de este edificio se localizan varios huertos o jardines entre los que se encontraba el Huerto de la Dama, así denominado porque se levantaba en él una fuente sobre la que destacaba la figura de una mujer con numerosos surtidores de agua.
Anexo a este huerto existía una plaza en la que se edificó a finales del siglo XIV una ermita dedicada a Santa Bárbara, cuyos restos han sido localizados en las excavaciones arqueológicas. De ella tan solo quedan en la actualidad los cimientos, al haber sido arrasada a finales del siglo XVI o principios del siglo XVII para ampliar el área despejada de los huertos.