L'actuelle Chapelle Saint-Ghislain est en réalité un vestige de l'ancienne Eglise Saint-Remi de Dampremy. 

Vers 1600, Dampremy devait être un village relativement important dans la région ; une église de style gothique y est érigée. Cette église fut en partie détruite pour une raison inconnue, et une nouvelle église en briques est alors reconstruite, en conservant toutefois le choeur de l'église précédente. Cette nouvelle église persistera jusqu'à la fin du XIXième siècle. Une autre église est alors érigée un peu plus au nord, l'ancienne devenant trop petite pour accueillir les habitants de Dampremy, dont le nombre avait considérablement augmenté avec l'industrialisation. 

L'église en briques est alors démolie ; le choeur est cependant à nouveau conservé. Des pierres de l'église du XVIIième siècle sont utilisées pour fermer le choeur, et en faire une chapelle.

Une autre chapelle, dédiée à Saint-Ghislain, se situait près du cimetière de Dampremy. Démolie lors de l'extension du cimetière, la dédicace s'est transférée à l'ancien choeur devenu chapelle. La chapelle Saint-Ghislain devient par la suite la chapelle funéraire des familles de Crawhez et Le Hardÿ de Beaulieu.

A côté de la chapelle Saint-Ghislain se situait le presbytère ; il fut démoli lors de la construction du métro léger. En 1911, l’abbé De Jong et sa servante y furent assassinés ; ce fut, dit-on, l'un des premiers crimes de la bande à Bonnot...