Venant de l'abbaye de Fontenay, on aperçoit au loin le château de Bussy-Rabutin posé sur une petite butte comme dans un dessin d'enfant. Rien ne prépare vraiment le visiteur à ce qui l'attend. Passée la porte centrale, il découvrira un univers d'une totale originalité. Un monde d'images et de mots mêlés, de jeu et d'ironie, de malice et de vengeance, mis en scène par Bussy-Rabutin, militaire de la noblesse d'armes, libertin à la plume trop libre, embastillé, disgrâcié, condamné par Louis XIV à l'exil dans son château de Bourgogne.
En prologue, la galerie des devises, en latin, en italien, en français, aposées sur des lambris peints, suit la mode des cabinets parisiens et des retraites mondaines mais en en détournant les codes empreints de préciosité. Certaines se comprennent d'elles-mêmes, d'autres ont un sens caché. Un escargot dit l'exil et l'isolement loin de la cour : "In me me involgo", "je m'enferme en moi-même"; un oignon "que me mordera piangera", "qui me mordra pleurera" avertit les ennemis ; une montre, "calme à l'intérieur mais mouvementée à l'extérieur", livre ses états d'âme.
Dans la galerie des hommes de guerre, après avoir entremêlé leurs chiffres, il fait ajouter quelques boiseries à charge contre sa maîtresse qui l'a délaissé aux plus durs moments.
Après la chambre dite de Mme Sévigné, sa cousine, que son esprit acerbe n'épargna pas (voir le savoureux portrait qu'il lui consacre dans L'Histoire amoureuse des Gaules), on pénètre dans une petite salle ronde de stucs et d'ors emplie de portraits de femmes de la Cour, les "belles amies", dont certains sont accompagnés de phrases redoutables.
Du fond de sa Bourgogne, il recomposa son univers matériel mais aussi social, au travers d' une intense correspondance, jusqu'à espérer - mais en vain - revenir en grâce.