La sede originaria del Talamo di Orsogna fu la Chiesa della Madonna del Rifugio, rasa al suolo dai bombardamenti nel 1944.
Era situata sulla rupe sud-occidentale del paese e secondo la leggenda popolare, il tempio fu edificato in questo luogo, perché vi era apparsa la Vergine Maria tra i rami di un grosso fico.
All’interno di questa Chiesa c’era al di sopra dell’altare maggiore un grande affresco che raffigurava la Madonna del Rifugio.
Godeva di grande venerazione, presso il popolo che la riteneva miracolosa, non soltanto per le innumerevoli grazie che elargiva, ma per il prodigio che Ella compiva ogni anno all’alba del martedi’ di Pasqua.