L’ermita de Santa Bàrbara es localitza en l’antic Barri o *Raval de l’Aigua Neta, en el qual els Ducs de Segorbe van alçar la seua nova residència (hui Ajuntament) en el segle XVI. En la part posterior d’aquest edifici es localitzen diversos horts o jardins entre els quals es trobava l’Hort de la Dama, així denominat perquè s’alçava en ell una font sobre la qual destacava la figura d’una dona amb nombrosos assortidors d’aigua.
Annex a aquest hort existia una plaça en la qual es va edificar a la fi del segle XIV una ermita dedicada a Santa Bàrbara, les restes de la qual han sigut localitzats en les excavacions arqueològiques. D’ella tan sols queden en l’actualitat els fonaments, en haver sigut arrasada a la fi del segle XVI o principis del segle XVII per a ampliar l’àrea buidada dels horts.