Bien qu’athée, Paul Erdös, un mathématicien hongrois célèbre décédé en 1996, aimait dire que Dieu possède un livre dans lequel Il a écrit les plus belles démonstrations mathématiques et dont Il montre une page de temps en temps à un être humain ; « Il n’est pas nécessaire de croire en Dieu, mais il faut croire dans le Livre ! » Il avait une idée très simple de la beauté en mathématiques : « Si vous ne savez pas ce qu’est la beauté mathématique, c’est votre problème et je ne peux pas vous aider. »

Lorsqu’ils sont ensemble, les mathématiciens parlent en effet de leur travail en termes esthétiques. On les entend parler de la beauté d’un théorème ou de l’élégance d’une preuve. Au sein de leur petite communauté, il semble y avoir un consensus implicite, raisonnablement clair, autour du concept de « beauté mathématique ». Or une grande majorité de la population trouve laid ce qu’eux trouvent beau. La « beauté mathématique » ne serait-elle qu’une illusion réservée à une petite caste, une sorte de lien social inventé par cette communauté dans le seul but de se construire une identité et de se protéger de l’agression du monde extérieur ?

Commençons par un exemple, extrêmement banal, connu de tous les mathématiciens et unanimement reconnu comme « beau ». Il s’agit de la preuve par Euclide. Je rappelle d’abord que l’on dit qu’un nombre entier est premier s’il n’est divisible que par lui-même et par 1. Par exemple, 6 n’est pas premier car il est égal à 2x3 ; alors que 5 ne peut se décomposer que comme 5x1 ou 1x5, si bien que 5 est premier. Si un entier n’est pas premier, il peut se décomposer en un produit de deux nombres plus petits, qui peuvent à leur tour se décomposer s’ils ne sont pas premiers… Au bout du compte, tout nombre entier se décompose comme un produit de nombres premiers. Par exemple, 2020 est égal à 2x2x5x101. Euclide affirme qu’il y a une infinité de nombres premiers, et la preuve qu’il en donne est considérée comme de toute beauté par tous les mathématiciens. Voici cette preuve. Prenez quelques nombres premiers, 2, 5 et 101 par exemple. Multipliez-les, 1010, et ajoutez 1 au résultat. On obtient un certain entier N (1011 dans notre exemple). Évidemment, N n’est divisible par aucun des nombres premiers dont on est parti puisque le reste de la division est égal à 1. N’importe quel diviseur premier de N est donc différent de ceux dont on est parti. Pour toute collection finie de nombres premiers, on peut donc trouver un nombre premier différent de ceux-là. Il y a donc une infinité de nombres premiers.

Cet exemple évoque immédiatement le « tout est nombre » de Pythagore, le « monde des idées » de Platon et le « livre » d’Erdös : une espèce de réceptacle abstrait, un paradis merveilleux réservé à quelques initiés, dans lequel tout n’est qu’ordre et beauté ! La plupart des mathématiciens se considèrent comme de simples explorateurs qui découvrent un territoire inconnu, qui défrichent de grandes forêts et aboutissent parfois dans de bien jolies clairières. La question philosophique « découverte ou création ? » ne se pose presque jamais dans le quotidien du chercheur au travail. Essayons de localiser ce « je ne sais quoi » qui fait que les mathématiciens trouvent belle une démonstration qui peut pourtant sembler inaccessible, et surtout ennuyeuse, à l’homme de la rue.

La majorité d’entre eux ne doutent pas que ce monde abstrait et merveilleux soit universel. Dans son roman De la Terre à la Lune, Jules Verne imagine que des hommes représentent le théorème de Pythagore dans de vastes plaines, avec un triangle rectangle si grand que l’on peut l’observer depuis la Lune : « Tout être intelligent, disait le géomètre, doit comprendre la destination scientifique de cette figure. Les Sélénites, s’ils existent, répondront par une figure semblable, et la communication une fois établie, il sera facile de créer un alphabet qui permettra de s’entretenir avec les habitants de la Lune. » André Lichnerowicz, lui, écrivait en 1988 dans L’Universalité des mathématiques et la compréhension du réel, que « le plus grand enjeu politique de notre science est sans doute l’unification de l’humanité à travers une aventure commune ; […] elle a imposé dans de larges champs une manière commune de penser, une méthode dont la mise en œuvre a fait prendre conscience de l’unité de l’esprit humain ».

Faudrait-il voir les mathématiciens comme des espèces de conquistadors, partis à la conquête de l’Eldorado, prêchant la « vraie croix », seule et unique religion ? Je voudrais proposer une vision un peu moins… impérialiste, et un peu plus respectueuse de la diversité.

Dans La Science et la Méthode, Henri Poincaré s’interroge sur ce qui guide le mathématicien dans son exploration. Selon lui, la boussole qu’il utilise n’est autre que la beauté, qu’il définit, de manière assez classique, comme l’harmonie des parties : « Le savant n’étudie pas la nature parce que cela est utile ; il l’étudie parce qu’il y prend plaisir et il y prend plaisir parce qu’elle est belle. […] Je ne parle pas ici, bien entendu, de cette beauté qui frappe les sens, de la beauté des qualités et des apparences ; non que j’en fasse fi, loin de là, mais elle n’a rien à faire avec la science ; je veux parler de cette beauté plus intime qui vient de l’ordre harmonieux des parties, et qu’une intelligence pure peut saisir. » À vrai dire, lorsqu’il poursuit l’analyse de la beauté mathématique, il ne manque pas de la rapprocher de l’utilité. Mais bien entendu, il ne s’agit pas ici de l’utilité immédiate, mais de celle qui permet une économie de pensée : « Et l’on voit que le souci du beau nous conduit aux mêmes choix que celui de l’utile. Et c’est ainsi également que cette économie de pensée, cette économie d’effort […] est une source de beauté en même temps qu’un avantage pratique. »

Le beau, l’utile, c’est ce qui peut être utilisé dans de nombreuses occasions, c’est une idée qui est à la fois simple et multi-usage, qui nous donne d’un coup la possibilité de comprendre beaucoup de choses. C’est une clairière d’où partent un grand nombre de chemins. Le mathématicien doit diriger ses efforts vers ces clairières.

Prenons l’exemple de la décomposition en nombres premiers. Pourquoi mérite-t-elle qu’on s’y attarde ? Il n’est pas nécessaire d’être mathématicien pour comprendre que les situations où l’on veut décomposer un objet en entités élémentaires abondent autour de nous : une phrase en mots, un produit chimique en molécules ou un être vivant en organes. En mathématiques, il est important, par exemple, de décomposer des « idéaux » (admirez le mot) en « idéaux premiers ». La méthode d’Euclide s’exporte donc un peu partout et c’est pour cela qu’elle est considérée comme belle.

Pour préciser ce point de vue, partons de l’analogie avec les grands réseaux, qu’il s’agisse de celui de la sncf, de Facebook, d’Internet, des neurones du cerveau, des citations entre les articles scientifiques, des collaborations entre mathématiciens, ou encore de ce que l’on peut appeler l’univers mathématique, cet ensemble gigantesque d’énoncés, de propositions, de théorèmes reliés entre eux d’une manière subtile. Certains nœuds du réseau sont connectés à beaucoup d’autres, alors que d’autres ne le sont que très peu, voire pas du tout. Quand on voit des représentations graphiques de ces réseaux, il apparaît clairement que d’énormes bouquets semblent jaillir de certains endroits. C’est le cas de Paris pour la sncf par exemple. Ce sont ces endroits qui sont pertinents, qui sont « beaux », car ils permettent d’accéder à beaucoup d’autres.

Il s’agit plus précisément d’une définition récursive : la pertinence d’un nœud au sein d’un réseau est d’autant plus grande qu’il mène à beaucoup d’autres nœuds pertinents. Mais comment localiser ceux qui sont particulièrement importants ? Imaginez que vous ne disposiez que d’un petit nombre n de vaccins pour endiguer la propagation d’un virus. Comment s’y prendre pour les distribuer à bon escient, c’est-à-dire aux personnes qui ont le plus de chances de transmettre la maladie par contagion, ces nœuds d’où le réseau de contagion semble jaillir ? Si vous choisissez ces individus au hasard, vous gaspillerez vos vaccins. Mais si vous choisissez au hasard n personnes et si vous leur demandez de citer le nom d’une personne qu’elles connaissent, les n personnes citées seront probablement mieux connectées et il serait judicieux de vacciner celles-là plutôt que le n choisies initialement au hasard. C’est de cette façon que Google choisit son chemin et trouve les pages Internet les plus significatives, c’est-à-dire les plus « belles » dans notre contexte.

Le réseau Internet évolue au cours du temps. Des pages qui étaient significatives perdent leur intérêt et ne sont plus pertinentes. Exactement de la même manière, le réseau des connaissances mathématiques évolue et il en résulte que la beauté en mathématiques n’est pas éternelle. Certaines vérités qui étaient pertinentes ne le sont plus et sont remplacées par d’autres. Si j’ouvre une revue mathématique du début du xixe siècle, il est bien rare que j’y vois des choses que j’estime belles. Les mathématiques de cette époque n’étaient pas « câblées » comme aujourd’hui. Ce qui était simple et multi-usage ne l’est plus, et, au contraire, de nouvelles connexions sont apparues. De même, si vous interrogez un théoricien des nombres et un spécialiste des équations aux dérivées partielles, il y a fort à parier qu’ils ne voient pas la beauté aux mêmes endroits. Appartiendraient-ils à deux espèces différentes ? Un mathématicien du passé avait peut-être envie de travailler sur la nomographie, cette science, morte aujourd’hui, qui permettait de résoudre les équations les plus variées avec du papier et une règle. Sa pertinence était liée au fait que l’ingénieur en avait besoin sur le chantier. Cette branche de l’arbre de l’évolution mathématique s’est éteinte, comme les dinosaures, mais cela ne dévalorise en rien le travail de ces collègues du passé, qui ont produit des mathématiques belles, dans un sens qui était le leur à leur époque.

Stephen Jay Gould n’hésite pas à discuter de l’évolution technologique pour expliquer l’évolution biologique. Il prend l’exemple éclairant des claviers de machines à écrire. Après deux siècles d’évolution et d’innovations, nous avons abouti à un clavier azerty en France, au qwerty aux États-Unis et à d’autres ailleurs. Ces solutions ne sont ni universelles ni optimales en aucun sens raisonnable. À chaque modification de clavier, il s’agissait de régler tel ou tel problème local, technologique ou économique, qui n’avait plus cours quelques années plus tard. Le qwerty est-il meilleur que l’azerty ? On peut penser à des pierres déposées dans un paysage montagneux ; elles ont tendance à dévaler la pente et à s’immobiliser au fond d’une vallée sans « savoir » qu’il existe probablement des vallées encore plus basses mais situées plus loin. Lorsque le temps passe, le paysage s’érode, certains cols s’abaissent, certaines pierres passent d’une vallée à une vallée voisine, mais en aucun cas une pierre ne peut affirmer qu’elle a atteint la plus belle vallée, la plus profonde.

Les espèces vivantes évoluent, la technologie également, et il en est de même pour la culture. C’est le point de vue de Richard Dawkins et de la mémétique, cette théorie darwinienne de l’évolution des cultures. Le développement des mathématiques a une structure analogue. En ce domaine, il n’y a rien de pertinent ou de beau au niveau absolu, pas de finalité ; il n’y a que des pertinences contingentes, locales, dans le temps et dans l’espace. Il n’y a pas de notion de profondeur mathématique sur laquelle tout le monde serait d’accord, sur tous les continents, dans toutes les cultures et à toutes les époques. Comme dans l’évolution biologique, le réseau mathématique évolue.

Il ne faudrait pas pousser l’analogie biologique trop loin. Le développement des mathématiques a des possibilités dont l’évolution ne dispose pas… D’abord, les mathématiciens ont une mémoire (et des bibliothèques) : une branche morte peut renaître en acquérant une nouvelle pertinence. Et puis, et surtout, l’une des plus grandes forces des mathématiques est de permettre de fusionner plusieurs branches pour en faire une seule. Un arbre étonnant !