Le chanoine, François-Joseph de Grammont, devenu archevêque en 1698, aménage au début du XVIIIe siècle ce nouveau palais épiscopal à partir de plusieurs maisons. L’édifice, distribué par un passage cocher, possède un escalier d’honneur à cage ouverte en pierre de taille avec une rampe en ferronnerie situé sur la gauche de ce passage. Faisant suite à la cour, se trouve un jardin en terrasse sur lequel une orangerie a été construite au XIXe siècle.

La longue façade sur rue n’a pas, comme les maisons du centre-ville, été réalisée en pierre de taille, mais en moellon enduit qui contraste avec les lucarnes très décorées. La travée centrale est composée d’un portail d’entrée sculpté et entouré de pilastres. Au-dessus, vous pouvez distinguer les armoiries de Louis-Auguste de Rohan Chabot qui les fit sculpter en 1828 lorsqu’il devint archevêque du diocèse de Besançon.

La construction de cet édifice a été réalisée contre la « Porte Noire », arc honorifique daté de 175 après Jésus-Christ. Ce monument romain, exceptionnel par sa taille et ses décors, est ainsi encastré entre le Rectorat, qui a pris la place de l’archevêché en 1906, et l’actuel archevêché installé depuis 1910 au 3/5 rue de la Convention.