En mai 1682, des soldats de la forteresse espagnole découvrent une statue de la Vierge déposée dans une niche formée par les branches d'un arbre du rempart nord-ouest. Plusieurs fois placée dans l'église située sur la place de la Ville-Haute, la statue de la Vierge est retrouvée chaque matin à l'emplacement initial de son apparition. Marquant dès lors son souhait de voir s'ériger une chapelle à un emplacement déterminé, les habitants de la forteresse vont honorer la Vierge en lui offrant un temple.

La chapelle initiale de Notre-Dame au rempart se situait dans l'actuelle rue du Beffroi ; elle fut démolie en 1819 pour permettre la construction des nouvelles fortifications hollandaises. La statue est alors transférée dans une nouvelle chapelle située dans l'actuelle rue de la Chapelle, aujourd'hui devenue lieu de culte ukrainien orthodoxe : l'Eglise de la Dormition.

En 1908, la statue est à nouveau déplacée vers une nouvelle chapelle, située au même emplacement que la chapelle actuelle, boulevard de l'Yser. 

Le 22 août 1914, les allemands boutent le feu à plusieurs édifices de la ville ; la chapelle n'est pas épargnée et est rapidement la proie des flammes. La statue de Notre-Dame est sauvée de l'incendie par le Doyen de Charleroi et plusieurs fidèles, mais la chapelle n'est plus que ruines. En 1916, un nouvel édifice, plus grand, est reconstruit au même emplacement que la chapelle précédente ; les murs du nouveau lieu de culte se couvrent rapidement d'ex-voto.