« Depuis dix ans, j’ai l’oreille un peu dure, pour être isolé du monde. Un jour, n’entendant plus, on m’a fait comprendre effectivement que les temps étaient révolus. Je me suis retiré ici. J’aide un peu le dimanche au service de la paroisse, vieux vicaire d’un jeune recteur. Mais ce n’est guère une occupation suffisante, et j’ai besoin d’agir. Alors j’ai eu l’idée de m’en aller sur la falaise, en tête-à-tête avec la mer, ma vieille amie. Je n’entends plus les hommes, mais je saisis le bruit des flots. Et je me suis mis tous les jours à piquer la pierre… » (Louis De la Noé, « L’Ermite de Haute-Folie », L’Éclair, Paris, 28 août 1905.)
Mis à la retraite à l’âge de cinquante-cinq ans pour motif fallacieux – sa dureté d’oreille – malgré une pétition des paroissiens en sa faveur, l’abbé Fouré s’installe à Rothéneuf, près de Saint-Malo, avec le statut de « prêtre habitué », c’est-à-dire prêtre résident sans charge administrative. Solitaire, il entreprend de décorer sa maison, nommée Haute Folie, par des sculptures en bois. Il crée ainsi un jardin fantastique habité de plus de deux cents figures, peintes pour la plupart, aujourd’hui disparues. En outre, pendant au moins dix ans, il sculpte le rocher face à la mer, au moyen d’un simple ciseau et d’un gros marteau. D’abord, à la Pointe du Christ, puis à la Pointe de la Haie. Il s’inspire de saints bretons et immortalise ainsi saint Budoc ou saint Gobrien, qui finira sa vie en ermite et qu’il choisit comme saint patron. Il représente aussi des personnages historiques célèbres tels Napoléon, Cléopâtre ou la reine de Saba, ou encore des événements de son époque, comme la guerre des Boers en Afrique du Sud. La pluie, le vent et le soleil en ont aujourd’hui effacé toutes les couleurs.