Ancienne maison prévôtale des comtes de Rochefort, située à deux pas de l’ancien site castral de Neufchâteau, l’actuel presbytère est un bel édifice classique daté de 1714 par des ancres situées au-dessus de la porte. Modernisé dans l’esprit néoclassique au milieu du XIXe siècle, le bâtiment comporte un large double corps de deux niveaux sur cinq travées espacées de baies à linteau bombé. La porte est précédée d’un perron à double volée d’escaliers et garde-corps.

Sous le régime français, le bâtiment est transformé en gendarmerie et témoigne aujourd’hui d’un autre aspect institutionnel hérité de la période républicaine. Bien qu’ayant existé sous des formes différentes auparavant, la gendarmerie est officiellement créée par la loi du 16 février 1791. La loi du 17 avril 1798 précise que « le corps de la gendarmerie nationale est une force instituée pour assurer dans l’intérieur de la République le maintien de l’ordre et l’exécution des lois ». Apportée dans nos régions suite à l’annexion, l’institution perdure en Belgique durant plus de deux siècles avant d’être dissoute et intégrée à la police fédérale en 2001 après la réforme des polices. 

De par son statut de sous-préfecture du département des Forêts, Neufchâteau abrite un tribunal de première instance sous le régime français, installé dans le bâtiment ancien de l’Institut Saint-Michel. Comme les autres tribunaux du département, il dépend du tribunal d’appel de Metz. Le ressort du tribunal chestrolais s’étend sur les cantons de Neufchâteau, Paliseul, Sibret, Bastogne, Fauvillers, Houffalize, Florenville, Étalle et Virton. À côté de ces deux bâtiments est inaugurée en 1808 une nouvelle prison, à l’emplacement actuel des bâtiments de l’Institut Saint-Michel construits dans les années 1970. 

Cette prison fonctionne place du château jusqu’à son transfert en 1875 sur la place Charles Bergh. La prison française est transformée en hospice jusqu’à sa démolition en 1967. Seul témoin d’époque, l’ancienne porte de la prison existe toujours ; elle a été déplacée contre un mur non loin de la tour Griffon. Visible dans le passage couvert de la ruelle Lepée, elle est surmontée d’un fronton triangulaire en grès jaune et est décorée de chaînes de part et d’autre.

Située sur une hauteur au milieu des champs entre les villages de Grandvoir et Tournay se trouve la chapelle Collard qui garde aujourd’hui le souvenir d’une famille de notables de l’Empire. Né en 1752, Pierre-Joseph Collard se rallie dès 1795 à la République française, chose plus rare pour un habitant de l’ancien duché de Luxembourg. Il devient successivement juge de paix à Luxembourg, membre du conseil des Cinq-Cents entre 1797 et 1799, puis du corps législatif de 1799 à 1805. En 1811, il est nommé président du tribunal de première instance de Neufchâteau. Il poursuit sa carrière sous le régime hollandais jusqu’en 1820 avant d’abandonner la vie politique. Il meurt au château de Grandvoir en 1843. 

Son frère, Jean-Herman-Joseph Collard, se rallie lui aussi aux idées révolutionnaires et devient commissaire du Directoire à Neufchâteau puis sous-préfet de Neufchâteau de 1800 à 1811. Il est ensuite membre du corps législatif entre 1811 et 1814. Sur la route le menant à Grandvoir, il est brutalement assassiné le 3 décembre 1814, quelques mois après la chute de l’Empire. Tous deux sont inhumés dans la chapelle-crypte érigée en style néoclassique pour la famille Collard en 1843.

Dans la chapelle Gourdet se trouve une dalle commémorative mentionnant les noms de soldats de l’armée napoléonienne tués au cours des campagnes d’Espagne et de Russie comme l’indique leur épitaphe : « Louis Gourdet, tué au siège de Saragosse l’an 1809, âge de 21 ans, et son frère Henri Gourdet mort l’an 1812 pendant la campagne de Russie, âge de 21 ans ». L’édifice a été érigé par la famille aux alentours de 1860.