La chapelle se trouverait sur l'emplacement d'une ancienne Croix Saint-Jean, et d'un chêne Saint-Jean connu dès 1616. Sur la carte Ferraris de 1777, la croix Saint-Jean y est renseignée comme chapelle. Elle se situe le long d'un ancien chemin qui allait de Gosselies par l'ancien Bois Lombut rejoindre la chaussée de Fleurus.

La chapelle actuelle remonte à 1844 ; elle fut bâtie par J.J. Bôval et P.M. Ligny. Une inscription sculptée se situant à l'intérieur de la chapelle en témoigne : "J.J. Boval et P.M. Ligny ont fait batir cette chapelle à l'honneur St. Jean baptis pour les malle de taite : 1844". La chapelle est fermée par une grille portant le monogramme entrelacé TSJ (Tour Saint-Jean).

Jusque dans les années 1990, la Chapelle Saint-Jean était située dans un environnement relativement verdoyant. Depuis, l'aéroport de Charleroi s'étant développé, la chapelle se situe en bordure immédiate des infrastructures aéroportuaires.

Chaque année, le dimanche le plus proche du 24 juin, les pèlerins du Tour Saint-Jean convergent vers la chapelle ; une messe en plein air y est alors célébrée.