La rue du Collège fut tracée en 1837 dans les jardins de l’ancien Couvent des Capucins, édifié en 1681. Une église y est adjointe vers 1688-89. L’ensemble est vendu comme bien national par les républicains en 1796. De ce Couvent, il ne reste aujourd'hui rien. L'ancienne église des Capucins est démolie et remplacée par l’actuelle Eglise Saint-Antoine en 1828. Quant aux autres bâtiments, ils furent démolis afin de permettre la construction du Passage de la Bourse, en 1892. 
Dans les années 1960, l’Hôtel de l’Europe, situé au coin des rues du Collège et du Commerce, fut démoli et remplacé par un building, le « Centre Europe ».
Dans les années 2000, le projet d’implantation d’un centre commercial à la Ville-Basse se concrétise, mais nécessite la destruction de nombreux bâtiments. Pour la seule rue du Collège, se sont environ une dizaine de bâtiments qui disparaissent sur son côté est pour faire place au centre « Rive Gauche ».