Wie kent er niet het kasteel waar ooit het rustoord ‘ De Visserij’ was gevestigd. Dit kasteel werd op 18 juli 1947 door de Commissie van Openbare Onderstand (C.O.O.) van Baron de Heusch aangekocht.
De C.O.O richtte in 1949 een verzoek tot de zusters van de Congregatie H.Hart van Maria te Hannut. In november 1950 werd het rusthuis opengesteld, 20 bewoners beschikten over tien kamers en werden verzorgd door 4 zusters. De eerste uitbreiding kwam er in 1962 met 26 bedden, een tweede uitbreiding begon in 1980 met een nieuwe vleugel voor een 40 bedden welke in 1986 in gebruik werd genomen. Vanaf het begin jaren tachtig werd het rusthuis volledig beheerd door het O.C.M.W. en trokken de zusters zich geleidelijk terug en kreeg het kasteel een administratieve functie. Na de O.C.M.W.-raad van januari kwam er door gemeentelijke administratieve reorganisatie hieraan een einde en wordt de O.C.M.W administratie overgeheveld naar het gemeentehuis. Bij een kleine receptie voor de raad en een ontbijtbuffet voor de medewerkers werd er met een beetje weemoed afscheid genomen van de vertrouwde werkomgeving. In het kasteel worden de burelen ingenomen door o.a Kind en Gezin, Kunstkring Diep´Arte, Kunstkring Ultramarijn en de heemkundige kring.