Histoire

Les origines

Le site de l’Herm et sa fortification semblent trouver leur origine dans les conflits incessants des XII° et XIII° siècles qui opposeront le comte de Périgord, dont l’allégeance à la couronne d’Angleterre oscillait avec des périodes de fidélité au Roi de France, et le vicomte de Limoges, fidèle à la couronne de France.

Le comte de Périgord détient alors la châtellenie de Montignac et indirectement la seigneurie de Rouffignac (sous la protection des Castelnaud, qui ont prêté allégeance au comte de Périgord). Le Vicomte de Limoges détient quant à lui la châtellenie d’Auberoche.

A la fin du XIII° siècle, l’Herm est donc pris entre tenaille entre deux blocs opposés, dans une zone politiquement très mouvante. C’est dans ce contexte géopolitique que l’on rencontre une occupation à l’Herm.

Dans son étude archéologique, Marie PALUÉ développe l’hypothèse de l’existence à l’Herm d’une motte féodale antérieure aux XII° – XIII° siècle dont des témoins seraient conservés sur la partie nord de la plateforme :

L’édification de cette motte sur ce lieu serait une des conséquences de l’inféodation de la châtellenie d’Auberoche par l’évêque de Périgueux au vicomte de Limoges (vers 1037 – 1059).

L’évêque s’étant positionné dans la région en créant des places fortes le palais fortifié de Plazac et la Roque-Saint(Christophe par exemple, et en inféodant des biens dont possible que dès la fin du XI° ou le début XII° siècle, le lieu de l’Herm limitrophe de la paroisse de Milhac ait été un lieu de pouvoir mais nous n’en avons aucune preuve historique ou archéologique pour l’instant.

Marie PALUÉ

Le site a été aménagé de fossés creusés dans l’argile avec une levée de terre formant un bourrelet. À la même époque, une tour quadrangulaire (et d’autres ouvrages ?) a été érigée et chemisée par le rempart en terre, entre 1150 et 1250 environ.

On peut considérer cette tour comme une « Maison forte »,à une époque où l’échiquier géopolitique du Périgord stabilise, période propice à l’édification de place fortes, sites fossoyés, repaires et autre points fortifiés.

Les XIV° et XV° siècles

Plusieurs familles vont occuper les lieux. On pourra résumer les recherches effectuées comme ceci :

La famille de l’Herm

Coseigneur de la châtellenie de Reilhac, la famille apparaît au début du XIII° siècle lors de transactions passées avec Hélie Talleyrand comte de Périgord : Pierre de l’Herm est témoin d’un acte en 1307 et acquiert une maison à Rouffignac en 1333, ce qui complique l’interprétation des sources écrites et la distinction avec le site fortifié de l’Herm.

Rien ne permet pour l’heure d’attribuer la construction du site fortifié de l’Herm à cette famille qui n’est d’ailleurs jamais qualifiée de seigneur de l’Herm.

La famille de La Roche

La juridiction de l’Herm est citée pour la première fois entre 1336 et 1342, dans un acte établi avec Hélie de la Roche, seigneur de l’Herm, au sujet des terres et juridictions de l’Herm dans la paroisse de Rouffignac.

L’importance sociale et politique de la famille de la Roche au XIV° siècle ne fait aucun doute. Elle gravite dans l’entourage du comte de Périgord et probablement dans celles du vicomte de Limoges et de l’abbé du Dorat.

La famille de Montlouis

Cette famille occupera l’Herm de 1360 à 1498 et constituera la seigneurie foncière telle qu’elle lui survivra, mais n’habite vraisemblablement pas sur place (sur cette période, aucun acte n’est passé à l’Herm).

Au milieu du XIV° siècle est attestée la présence de la tour quadrangulaire précédemment décrite et probablement élevée avec la levée de terres entre 1150 et 1250. Cette construction a probablement été démolie pour laisser place au château neuf, mais on constate qu’une partie de ses maçonneries inférieures ont été conservées (support pour un engin de levage ?) et que ces structures remblayées ne coïncident pas avec le niveau des soupiraux du château XVI°, situés plus bas.

De faibles dimensions, cette construction devait servir de guet et était vraisemblablement enchâssée dans la levée de terre qu’elle dominait. Un siècle après sa construction, cette tour est encore utilisée.

Le XIV° siècle voit également l’aménagement d’autres bâtiments, décrits au XVIII° et localisés à l’occasion de fouilles, témoignent de l’occupation des lieux avant l’édification du château neuf (chapelle, fours à pain, châtelet…).

Le XVI° siècle : Le château gothique flamboyant

La famille de Calvimont est la plus visiblement liée au château, la seigneurie restera entre les mains de celle-ci de 1500 à 1605. On doit notamment à Jean de Calvimont et à son fils la construction du château neuf qui porte les armes de la famille.

Le premier membre de la famille attesté est Jean de Calvimont, notaire installé à Plazac, à 8 kilomètres de l’Herm (vers 1410 – 1475), au service de l’ordre Saint-Jean de Jérusalem et probablement de l’évêque de Périgueux qui possédait un château à Plazac.

Son fils Jean de Calvimont (1450 – 1519) est exemple criant d’ascension sociale au début de la Renaissance. Successeur de son père en qualité de notaire, il abandonnera la charge de notaire royal à son frère, avant d’exercer comme avocat à la cour du parlement de Bordeaux dans les années 1495.
Son ascension sociale va être marquée par l’accession à la noblesse, avec le rachat de la maison noble de la Malvinie à Vergt en 1490, celui de la seigneurie de Tursac avec la maison noble de Reignac en 1498, puis celui de l’Herm qui s’étale à partir de 1498.

En 1497, Jean de Calvimont est l’un des procureurs de Jean d’Albret roi de Navarre dans le cadre de la transaction à propos des terres de Périgord avec Louise de Savoie dont l’époux, le comte d’Angoulême, vient de décéder. Deux ans plus tard, lorsque Louis XII projette le mariage avantageux de César Borgia avec son cousin Alain d’Albret, Jean de Calvimont est de nouveau choisi comme procureur. Il parvient à leur extorquer des sommes considérables au profit d’Alain d’Albret par contrat signé à Blois en 1499.

Dès lors, Jean de Calvimont porte le titre de conseiller du roi au parlement de Bordeaux.

Huit mois plus tard, le 7 janvier 1500, Jean de Calvimont rend hommage à Alain d’Albret pour « son chasteau et seigneurie de Lerm ». Bien que Calvimont se présente dans cet hommage comme seigneur de l’Herm, il faudra attendre l’intervention d’Alain d’Albret qui assigne François la Cropte et Charles de Caumont devant la cour du parlement de Bordeaux pour les voir condamnés six mois plus tard lui restituer ¾ de la seigneurie. Le comte voulait apparemment favoriser Calvimont puisqu’il lui permit en novembre 1500 de racheter les parts en question. Les transactions dureront jusqu’en 1512, voire même 1520.Jean de Calvimont décède vers 1519, et on apprend que le château n’est pas achevé, et qu’il incombera à son fils également prénommé Jean , les finitions.

Jean de Calvimont (1488 – 1557) est président au parlement de Bordeaux. Ses prestigieuses missions l’éloigneront du Périgord où il n’a guère le temps de séjourner, mais il procédera néanmoins à l’achèvement du château de son père et contribuera à l’accroissement des possessions.

Calvimont est désigné par François 1er comme son ambassadeur auprès de Charles Quint quand les deux jeunes fils du roi sont détenus en Espagne en attendant la signature du traité cédant la Bourgogne à l’Empereur.

Il sera missionné pour négocier la non cession de la Bourgogne et la libération des enfants du roi contre une rançon. L’ambassade dure plus de deux ans, et se solde par un échec complet.

Les archives conservées décrivent Calvimont comme « un homme terrible, ardent et impétueux ». Lorsque la « sainte ligue » à la tête de laquelle oeuvrent la France et l’Angleterre décident d’attaquer l’Empereur, les Ambassadeurs et la famille royale sont emprisonnés à Poza, incarcération durant laquelle Calvimont fréquentera le nonce du pape Castiglione et l’ambassadeur de Venise Navagero, qui comptent parmi les intellectuels remarquables de leur époque.

De retour en France, Calvimont prend réellement les fonctions de second président au parlement de Bordeaux. Ces années voient également se développer les thèses luthériennes. Les parlements sont chargés de la répression, et Calvimont voit dans la création du collège de Guyenne fondé en 1533 une « cause de la perdition de l’Aquitaine ». Alors que les ordres du roi de juger les adhérents de la doctrine luthérienne, la soeur du roi, reine de Navarre, s’intéresse au sort des protestants et obtient l’éloignement de Calvimont en 1544. C’est l’occasion pour lui de séjourner dans ses châteaux du Périgord.

Avec l’arrivée d’Henri II trois ans plus tard, l’interdiction est levée et Calvimont peut rentrer à Bordeaux. Il conserve ses fonctions jusqu’en 1552 ou 1553.

A la mort de son père, Jean de Calvimont a donc la charge d’achever l’Herm, et fait faire les « créneaux, mâchicoulis, les soliveaux et planchers, portes, fenêtres et vitres ». Il fit également construire la chapelle des Sautiers (ancien nom du hameau de l’Herm) et la « grande grange ». Il procèdera également à l’accroissement des propriétés, par son mariage avec Marguerite de Talleyrand, mais aussi avec le rachat de la vicomté de Roussille pour célébrer son retour d’Espagne. De nombreuses autres acquisitions marquent le milieu du XVI° siècle.
A la mort de Marguerite de Talleyrand en 1553, Jean de Calvimont épouse Marguerite de Farges, dame en partie de la Chapelle-Faucher.

XVI° – XVII° siècles : Les querelles d’héritiers

A la mort de Jean de Calvimont en 1557, ses frères revendiqueront auprès de sa veuve des parts dues du vivant de Calvimont et jamais réglées dans le cadre d’un partage vieux de quarante ans.
Jean de Calvimont (1557-1586), enfant posthume et héritier universel de son père résida semble-t-il constamment à l’Herm et s’attela à gérer ses terres.

A la mort de son père, Marguerite de Calvimont (1585 – 1605) occupe seule le château de l’Herm avec sa grand-mère et sa mère et demeure l’unique descendante légitime du second président au parlement de Bordeaux. Sa mère se remarie sans délai avec Foucaud d’Aubusson qui devient le tuteur de Marguerite. Celui-ci planifie rapidement l’union de Margueritte avec son propre fils François d’Aubusson Foucaud D’Aubusson est homme de pouvoir, capitaine, chevalier des ordres du roi et du parti de la Ligue. Il est un temps gouverneur du Périgord et prend part à plusieurs actions contre les protestants entre 1591 et 1593. Les ravages imputables à la Ligue furent très importants non loin de l’Herm, ce qui justifia sans doute la création d’un ravelin à l’entrée du château. Pour la première fois un capitaine est mentionné à l’Herm en 1592. Aubusson prend en mains les affaires de l’Herm, et tente en vain de régler les problèmes de successions des Calvimont. Il meurt en 1600.

Devenu seigneur de Beauregard, François d’Aubusson se voit rattrapé par les querelles d’héritage, et créancier à hauteur de 23 000 livres après de Guy de Calvimont en qualité d’époux de Marguerite de Calvimont, héritière de Jean de Calvimont. La somme doit être versée avant 1606, et 500 livres seront déjà versées en 1603.

Souvent à l’extérieur de l’Herm François d’Aubusson rentre le 30 janvier 1605 accompagné de soldats et,de ses parents. Un des grands drames de l’Herm se dessine.

Le lundi, Beauregard fait enfermer Marguerite dans la tour Sud à côté de sa chambre au premier étage. Le mardi, elle écrit au seigneur de Pompadour, cousin de Beauregard, espérant qu’il la vienne délivrer. Le mercredi Beauregard se fait remettre les clefs de ses cabinets et congédie les femmes de chambre.Le jeudi 3 février, tandis que Beauregard est à la chasse avec ses gens, une servante qui s’est à peine absentée pour se rendre aux Sautiers découvre le corps sans vie de Marguerite à son retour manifestement étouffée, on lui a arraché ses joyaux. Elle est enterrée dans l’église des Sautiers, comme une simple femme du village.

Les soupçons se portent évidemment sur François d’Aubusson…

La suite n’est que brigandages et renvois de tribunaux en tribunaux. Meurtres, guet-apens et coups de théâtre se succèdent dans une ambiance de cape et d’épée. Dans le mois qui suit l’assassinat, François de Calvimont, retranché à l’Herm entouré de sa bande disperse les meubles, coupe les forêts, emprisonne et blesse les témoins, nargue l’autorité royale. François d’Aubusson épouse en secondes noces Marie d’Hautefort.
A la suite de ces événements qui aboutiront à la condamnation par contumace de François d’Aubusson et de ses complices en 1609 à : l’exécuteur leur tranchera « les quatre membres tous vifs, la teste dernière ». Mais la sentence ne fut pas appliquée, d’Aubusson fut libéré sous caution.

Les batailles, accusations, agressions, meurtres vont durer des décennies. Marie d’Hautefort est encore poursuivie par les tenaces héritiers des Calvimont jusqu’à sa mort en 1653. Il s’ensuit de nouvelles batailles juridiques au cours desquelles le château est de nouveau mis sous séquestre, sous la surveillance d’un garde du gouvernement de Paris. La coalition des Calvimont réclamant le règlement de l’obligation de Marie d’Hautefort impayée depuis 1623, le château de l’Herm est saisi en 1676 et la seigneurie est finalement vendue en 1682 pour 40 000 livres seulement.
Le château est décrit en piètre état : le mobilier est pauvre et vétuste, les huisseries hors d’usage…

Les Marquis d’Hautefort

Veuve du maréchal duc de Schomberg, Marie d’Hautefort fait l’acquisition de la seigneurie de l’Herm en 1682, alors qu’elle est âgée de 66 ans. Née au château d’Hautefort, son père était le frère de la première Marie d’Hautefort. Proche de Marie de Médicis, d’Anne d’Autriche et du roi Louis XIII, elle brille par ses qualités qui la firent louer sous le nom de « l’Aurore ».
Elle demeure à Paris et ne descendra pas à l’Herm. Les terres sont confiées à un fermier qui loge au château dont une partie est utilisé comme dépôt agricole. Il n’y a donc plus de seigneur à l’Herm depuis 1682.

La seigneurie de l’Herm ne sera plus désormais que l’une des très nombreuses terres relevant du marquisat d’Hautefort, le vieux château servant de bâtiment agricole.
Un ensemble de documents nous renseignent sur l’état de conservation du château de l’Herm du temps de Marie d’Hautefort. On y apprend qu’en 1680 le château est « couvert partie de tuiles et les tours partie de barde nestant pas fort boune ». Deux ans plus tard, on apprend que la couverture est « partie de tuiles plat, tuile de pierre et bardeau et en très mauvais état ».

Les comptes de 1686 font état des travaux réalisés par Marie d’Hautefort : fourniture de clous et lattes employées sur parties du château, journées d’ouvriers et de manœuvres, achat de tuiles et conduite d’icelles au château, dépenses faites pour faire monter une solle sur le coin du pavillon, chambres de charpentier, journées de couvreur d’ardoise et son manœuvre.
On peut donc imaginer que si le toit n’est pas neuf en 1686, il a été du moins remis en état.

La période moderne : Le déclin

Le greffier de 1705 note que le château est « cranellé de beaux cranneaux tout autour et tout couvert d’ardoises, suivant ce qu’il parait de bas en haut ; la charpente est belle et bonne la couverture d’ardoises et quoique en bon état il y parait manquer quelques ardoises ». Trois ans plus tard, le marquis écrit : « faites le prix fait avec le couvreur pour la réparer et charger le receveur ou celui que vous jugerez à propos pour la conduite de l’ardoise ; il faut attendre le beau temps pour cela ».

L’état des lieux de 1722 est plus précis : « estan allés avec La Buissière et un couvreur au château de Ler, avons noté qu’il faut crépir les socs des tours et du corps de logis du côté nord, abattre la lucarne qui regarde du même côté, les cartiers d’icelle étant tous défectueux et gelés par les rigueurs des hivers fait que ladite lucarne est au risque de tomber et en tombant ferait ravage dans les bois des charpentes, et à sa place mettre des chevrons et couvrir d’ardoise et réparer tout ce qui fait défaut au couverture s’ardoise dudit château ».

En 1727, la seigneurie passe pour la troisième fois à un neveu : Emmanuel Dieudonné d’Hautefort qui songe le revendre à M. de Calvimont, mais le transmet finalement à son fils Armand en 1777. Celui-ci se défait du château d’Hautefort mais conserve celui de l’Herm auquel les suites de la Révolution sont fatales : Armand d’Hautefort est la victime d’aigrefins sans aveu qui font main basse sur le château.
Des travaux d’entretien sont entrepris sous la gestion d’Emmanuel-Dieudonné d’Hautefort : c’est lui qui réalisé les travaux commandés par son oncle en 1722, puis fera de nouveau réparer les toitures de 1737 à 1739. Un autre suivi des toitures est réalisé en 1759.

Un devis avait été fait en 1735 :
il faut couvrir « tout le fles (faît) du corps de logis du château de bonnes,fletieres (faîtières) de tuilles courbes, et de chaque côté dudit fles (faît) y poser aussi deux rangs de tuiles plates, les vents ou orages ayant jeté à bas presque toutes les ardoises ; le tout posé avec bon mortier de chaux et sable tout le long dudit fles ».
Et comme la lucarne « qui est presque contre le mur de la tour de l’escalier du côté de l’entrée, et que pour ramasser les eaux de pluie il y avait été posé une acheneaux de bois qui est à présent pourri, et que les eaux pluvialles de ladite tour et de la noue que forme le corps de logis lesdites eaux tombent en bas dans les chambres et pourissent les planchers et soliveaux, il serait bien fait de descendre les cartiers de ladite lucarne, avec la chenalle pièce à pièce sans les jeter du haut en bas sur les marches du perron ;
après recourir les passes que ladite lucarne occupe à présent de l’ardoise qui est sur le chenalle d’icelle est environ six à sept cent ardoises. De plus, il faut aussi réparer la couverture de la tour du coin regardant du nord au levant, laquelle tour sert pour mettre les grains des fermiers ; et comme le parpaing au-dessus des créneaux s’est abattu environ de la longueur de quinze à seize pieds dans l’angle de ladite tour sur les murs du corps de logis, et que les pluies percent ledit mur et tombent sur le plancher de la salle, pour empêcher que l’eau ne tombe et perce ledit mur il faut mettre sous chaque bloche une pièce de bois en chevron posée sur une bonne sablière qu’il faut poser sur les créneaux qu’il faut latter et couvrir de tuiles plates ; cela fait les couvertures dudit château seront en bon état ».

Les travaux commencent deux ans plus tard, avec un prix-fait de 1737 demandant à un couvreur d’ardoises de « réparer toutes les couvertures d’ardoises avec les défauts des charpentes, y remettre tous les chanlas coyaux à neuf à la place de tous ceux qui va du faîte et autres pièces de bois nécessaires aux charpentes dudit château, faire toute la contre latte ci-contre si nécessaire pour sur laquelle faire une bonne et solide couverture d’ardoise avec tous les noules (noues), toute l’ardoise régulièrement posée sur de bonnes flétières de tuile courbes posées avec du bon mortier de chaux et sable ».
Le 8 mai 1739 le solde est payé au couvreur, vérification faite : « avons visité les couvertures d’ardoise, les avons trouvées en conformité ».

Vingt ans plus tard, en 1759, il faut refaire un ressuivi de ces couvertures dégradées par un coup de vent.
Le receveur précise que l’ardoise est chère car elle vient de loin, et qu’une ardoise plus proche serait meilleur marché mais de moins bonne qualité.
L’entretien du château de l’Herm est à mettre en corrélation avec son utilisation : le château est alors occupé par une famille de bordiers qui habite les appartements du rez-de-chaussée, l’appartement du
premier étage est occupé par les fermiers qui y logent lorsqu’ils viennent lever les rentes et la tour Nord sert de grenier à grain. Le bail court jusqu’en 1777.

Le XIX° siècle : Le temps de la chute et du pillage

Le marquis Armand Charles Emmanuel d’Hautefort succède à son père et meurt le 28 novembre 1805.Contrairement à ses prédécesseurs, il ne fera aucuns travaux à l’Herm.

L’état de ses biens lancé en 1776 précise que :

« dans la terre de Lerm il subsiste encore un château bâti de la plus belle pierre dont les murs et les couvertures sont en très bon état et qu’on a bien soin de bien entretenir quoique très inutile ». Deux ans plus tard : « ce château est très bien situé et bien bâti avec un escalier à vis bâti en pierre de taille, aussi solide que s’il était neuf. Il y a plusieurs planchers qui ne sont pas en bon état mais qu’il est inutile de réparer parce qu’il reste du logement suffisamment pour y loger le garde et les grains de la recette. Comme ce château n’est pas habité, il n’est nécessaire que d’entretenir les couvertures pour conserver les charpentes »

Les baux se succèdent avec comme mission l’entretien du château et de ses couvertures.

Criblé de dettes, le marquis signe une reconnaissance de dettes à Jospeh Annet Bonnafont en 1799, hypothéquée sur la moitié de l’Herm et d’autres lieux.En 1805, le marquis vend le château et de domaine de l’Herm à Jean-Baptiste Bernard Pain au détriment de son fils Armand Joseph Camille alors mineur.
Celui-ci entamera procès sur procès pour faire valoir ses droits.
Le château est donc en bon état en 1778. Il devait l’être encore vingt-sept ans plus tard pour y loger les bordiers et le grain jusqu’à sa vente en 1805, voire jusqu’en 1811 marquant la fin du dernier bail accordé aux Bretou.
Le 1er août 1807, Pain revend sa moitié à son compère Bonnafont. Le partage de la terre de l’Herm entre pain et Bonnafont a lieu le 11 juin 1811, soit au terme du bail accordé aux Bretou. Bonnafont récupère un lot comprenant « un vieux château et terrain adjacent entourés de fossés que traverse un vieux pont ».
En 1812, Bonnafont échange le tout contre une maison à Paris avec Jean-Baptiste Baronnat, contre qui le jeune marquis d’Hautefort se retournera dans son combat pour récupérer l’Herm, en vain. Il sera
finalement débouté après que Bonnafont ait vendu l’Herm à Foulocon-Laborie en 1830.

Dans l’acte de vente de 1830 il est précisé que le château est en ruine et que plusieurs parcelles de terre ont été vendues.
La situation de 1805 à 1830 est relativement confuse, mais, en comparaison au soin apporté à l’entretien du château depuis Marie d’Hautefort jusqu’à la description de 1776 relatant le bon état du château, la période qui suit est plus sombre. En effet, s’il est certain que l’entretien se fait plus rare au XIX° siècle, le château sert encore de logement au fermier et de réserve agricole. Le château passe de mains en mains, sur fond de contestation. Le château est qualifié de « vieux » mais on ne parlera officiellement de ruine qu’en 1830 lorsqu’il est vendu à Foulcon-Laborie.

Le château n’a donc pas été une ruine au sens étymologique du terme. Son délabrement général n’est pas à l’origine de l’effondrement des structures, toitures, charpentes et planchers. En effet, il n’y a aucune trace de mobilier ou d’ouvrages de second oeuvre (menuiseries, fenêtres, revêtements de sols…) et les maçonneries sont quasiment intactes. Aucune trace d’ouvrages ruinés, de bois de charpentes, de pans de maçonnerie arrachés par l’effondrement… Aucune trace non plus – ou si peu – des matériaux de couverture qui auraient jonché le sol au moment de la ruine.

On se trouve visiblement devant un bâtiment qui a été dépecé des matériaux qui pouvaient être revendus : les couvertures et les charpentes soigneusement déposées et évacuées, les menuiseries démontées, les planchers désossés… On remarquera même des saignées pratiquées au droit des corbeaux des salles permettant d’extraire les poutres sans avoir besoin de les sectionner.
Doit-on ce dépouillement en règle aux compères Pain et Bonnafont entre 1805 et 1812 au nez et à la barbe de Baronnat qui, de son propre aveu, ne sait rien de ce qui se passe sur place ? C’est probable. Mais si l’attribution de ce démantèlement reste incertaine, le processus soigné et systématique est indéniable.

Le château de l’Herm n’a donc pas été abandonné depuis le drame de Marguerite de Calvimont en 1605 comme cela a été parfois rapporté, mais désossé au début du XIX° siècle seulement.

A l’aube du XX° siècle : Le temps des légendes

Le château de l’Herm est aujourd’hui à l’état de ruine, ou plus exactement, le château est dépourvu de ses ouvrages charpentés (toitures et planchers) alors que ses maçonneries sont dans un relativement bon état de conservation.
L’histoire du château de l’Herm pourrait s’arrêter là si la légende ne l’avait pas donné un sursaut de vie :

en 1838, Albert de Calvimont écrit « La Main de cire du château de Lern, Légende périgourdine », et surtout le romancier Eugène Le Roy en fait le décor de son livre Jacquou le Croquant en 1900 à qui il attribue le prétendu incendie du château : il raconte l’histoire d’un jeune paysan orphelin du XIX° siècle qui va chercher à se venger du tyrannique comte de Nansac à qui il reproche la mort de ses parents métayers dépendants du château de l’Herm. Avec tous ceux qui ont à se plaindre du comte, et ils sont nombreux, ils incendient le château et ruinent le comte de Nansac.

Cette révolte paysanne nommément assimilée aux insurrections de l’Ancien Régime a fortement marqué les mémoires du fait de l’immense succès du roman publié en 1900. Aujourd’hui encore, L’Herm est parfois présenté comme ayant été incendié par les paysans, sans que l’on puisse dire s’il s’agirait d’une révolte paysanne de 1830 ou des révoltes des Croquants aux XVII° et XVIII° siècles. Une plaque commémorative faisant référence à l’oeuvre d’Eugène Le Roy entretient cette confusion.

En 1978, Marcel Secondat relate une visite d’Eugène Le Roy à l’Herm où il peut lire un écriteau : « Ici, château de l’Herm, brûlé par Jacquou le Croquant ».

Aujourd’hui encore, la tradition populaire rattache cet état de ruine aux Jacqueries, révoltes paysannes populaires du Sud-Ouest de la France qui ont eu lieu aux XVII° et XVIII° siècles. Las causes de ces révoltes étaient essentiellement d’ordre fiscal et ont préfiguré la Révolution de la fin du XVIII° siècle. Le Périgord sera le terrain de plusieurs de ces affrontements.

Dans le cadre de ses études sur le château de l’Herm, Marie Palué a souhaité faire la lumière sur ces légendes et mettre à jour les raisons de l’état de ruine du château de l’Herm, démontrant que le château n’avait été ni incendié ni ruiné mais très soigneusement démonté et dépouillé de ses ouvrages charpentés, de ses planchers, revêtements de sols et de ses ardoises, vraisemblablement pour être revendus comme matériaux.

Dans les années 1960, le château est racheté par Charles Plassard, qui entreprendra de dégager la ruine de sa gangue de lierre et de restaurer certaines parties comme la salle haute de la tour d’escalier, dite chambre du trésor.

De 1988 à 2020, le château est la propriété des Palué, qui auront œuvré toutes ces années à assurer la conservation du monument mais également à augmenter sa connaissance au travers d’un très important travail de recherches et de mémoires, ainsi qu’a plusieurs opérations de fouilles archéologiques