La ville de Besançon a été fondée dans un site exceptionnel : un méandre du Doubs barré à son étranglement par un éperon rocheux, site de la future citadelle construite par Vauban à la fin du XVIIe siècle. A l’époque romaine, Besançon, appelée Vesontio, est une grande agglomération qui se développe à l’intérieur de la boucle formée par la rivière. Son axe nord-sud (le cardo, future Grande Rue) relie le pont romain (le pont Battant actuel) à l’escarpement, au pied duquel subsiste un arc de triomphe romain appelé Porte Noire. Lors des invasions barbares, la ville se retranche au pied du promontoire, derrière les remparts du castrum. Puis, à la fin du IIIe siècle, elle devient le siège d’un archevêché. La cité épiscopale se développe alors autour des deux cathédrales, Saint-Etienne et Saint-Jean, la première située sur la colline, la seconde au pied du promontoire. Vers le XIe siècle, à l’autre extrémité de la ville apparaît autour du pont Battant, sur les deux rives de la rivière, un bourg marchand. Entre les deux pôles religieux et marchand, des lotissements se développent au cours du Moyen Age. Cette unification urbaine se solde par la construction, au XIVe siècle, d’un hôtel de ville au milieu de la Grande Rue.

Autour de la cathédrale Saint-Jean et du palais épiscopal, le quartier est formé d’anciennes maisons de chanoines. Jusqu’à la destruction de la cathédrale Saint-Etienne par Vauban, ces religieux animaient les offices dans les deux cathédrales, et vivaient selon des règles strictes. Les demeures qu’ils occupaient ne pouvaient être transmises qu’à un autre chanoine et il était interdit d’y faire du commerce. C’est pourquoi, encore aujourd’hui, ce quartier bénéficie d’une grande tranquillité.