La seigneurie de Rumilly-les-Vaudes appartenait pour
moitié au roi, successeur des comtes de Champagne, et pour moitié aux moines de
l’abbaye de Molesme. On sait qu’à l’époque de la Guerre de Cent Ans le village
de Rumilly a dû connaitre de sanglantes batailles et qu’une bâtisse existait
déjà à l’emplacement du Manoir. Il n’en est probablement resté que les quatre
murs flanqués de ses quatre tourelles d’angle percées de canonnières. Parmi ces
délégués du pouvoir, fut le sénéchal de Champagne Louis II d'Orléans (1384), le
futur Louis XII ; ses armes mutilées ornent la porte nord du manoir et le
cheminée est du rez-de-chaussée.
Pierre Pyon, puissant boucher troyen, fait
l’acquisition des terres en 1523. Il engage les travaux de restauration du
Manoir tel qu’on le connait aujourd’hui. Les quatre lettres de son nom : PION,
sont peintes sur le linteau de l’une des fenêtres de la plus petite tourelle du
bâtiment.
Chevalier du Saint Sépulcre, il a fait le voyage de
Jérusalem, il a offert à la cathédrale de Troyes deux énormes verrières, y a
acheté une chapelle dans laquelle, paraît-il, il est enterré assis. Ses
armoiries portent d’azur à la croix patriarcale d’or avec une étoile du même au
canton dextre du chef.
La légende dit que, du manoir, partent quatre souterrains. L’un rejoindrait la Grange aux Dîmes, un autre la ferme aux Rats, le troisième relierait le manoir au château de Chappes et le quatrième à l’église Saint-Martin.
En réalité, seuls trois caveaux existent en sous-sol, sous trois
tourelles, en hommage aux trois fondateurs qu’honorent les Compagnons. Trois
caveaux qui évoquent parallèlement le mouvement diurne du soleil : un caveau à
l’est quand le soleil se lève, le second au sud quand le soleil est au zénith
et le troisième à l’ouest quand il se couche.
Les Compagnons, justement, nous ont laissé là, de nombreux signes de leur participation à la construction et à la rénovation bâtiment. :
- un cul-de-lampe, le renard et la poule : le faux compagnon prend le travail qui me revient.
- le loup et le chien : le tailleur de pierre et le charpentier
- la colonne aux spires inversées, aux deux tiers de sa hauteur et une
erreur manifeste dans le dessin d’une plaque de cheminée.
Après la mort de Pierre Pyon, les moines de l’abbaye de Molesme, qui possédaient déjà à Rumilly un important domaine forestier, rachètent le Manoir vers 1550, et envisagent d'en faire leur demeure abbatiale. Ils font décorer les cheminées.
Au premier étage sont les armes d’Antoine II de Vienne, l’abbé de l’époque :
De gueules à l’aigle éployée d’or membrée d'azur