De pastorie uit 1835 straalt de allure uit van het Rijke Roomsche Leven. Het was niet de bouwpastoor maar de fabrikantenzoon pastoor Jurgens die in het begin van de twintigste eeuw de vele plafondornamenten en geëtste ramen aanbracht. Aan de linkerkant staat het woninkje van de pastoorsmeid, aan de rechterkant het koetshuis.

Het was voor de geestelijken goed brevieren in de grote parkachtige tuin met Mariagrot, boomgaard, kassen en het bruggetje over de Zuiderbeek, ook wel De Hilver genoemd. De tuin is geofferd voor de bouw van verzorgingscentrum De Clossenborch.

De bisschop van Den Bosch stelde in 1953 de leeg gekomen pastorie ter beschikking aan de Jeugdherbergcentrale. Het werd een modeljeugdherberg met vijftig plaatsen, alleen voor meisjes. In slappe tijden rustten er alleenstaande moeders uit.