Quand on cherche à déterminer si un algorithme existe pour un problème ouvert donné, deux stratégies semblent praticables : on peut tenter soit, directement, de trouver l’algorithme en question, soit, indirectement, de démontrer qu’il ne peut pas exister. Mais il y a deux façons d’interpréter cette stratégie indirecte.
En effet, comme le montre le débat entre intuitionistes et formalistes, la découverte de l’absence d’un algorithme pour résoudre un problème ouvert donné peut être interprétée soit comme l’indice d’une limitation intrinsèque de notre pouvoir mathématique - ou tout au moins de l’existence d’une réalité qui ne cadre pas avec le pouvoir en question -, soit comme l’indice de l’existence d’un
problème entièrement nouveau à résoudre, celui de la délimitation de la classe des algorithmes. En effet, la stratégie indirecte qui consiste à démontrer la non-existence d’un algorithme pour une question donnée peut être interprétée dans ce dernier cas comme exigeant que soit définie exactement la classe des algorithmes, cela en vue de montrer qu’aucun élément de cette classe n’est une solution pour la question posée97. Bref, dans cette interprétation, la question de la résolubilité par algorithme des problèmes ouverts exige de faire le détour par la définition de la classe des fonctions calculables. Seule cette interprétation de l’approche indirecte permet de poser la question des limites intrinsèques de la classe des fonctions calculables, puisqu’il faut déterminer la frontière entre ce qui se situe dans et hors de la classe en question. Étudions ces deux interprétations.
121. Effectivité et décision dans un contexte intuitioniste
Si l’on reprend l’exemple de la formule de calcul du nombre , on se rend compte qu’il est possible de répondre au sujet de à des questions du type : quelle est la 124ème décimale de son développement décimal? ou : la 1245ème décimale du développement décimal de est-elle le chiffre 2 ? Il suffit de poursuivre le développement jusqu’à la 124ème place pour répondre à la première question et de poursuivre le développement jusqu’à la 1245ème place puis de vérifier si le chiffre occupant cette place est bien 2 pour répondre à la seconde.
Envisagée ainsi, la formule de calcul n’engendre pas seulement la suite des décimales correspondant au développement décimal du nombre mais devient une procédure logique de décision, c’est-à-dire un moyen de répondre par oui ou par non aux questions que l’on peut poser concernant le développement décimal du nombre examiné98. Bref, la notion mathématique d’algorithme permet d’aborder les questions logiques de décision.
Est-on capable de répondre à toute question, par exemple sur le
97 Cf. J. Mosconi, La constitution de la théorie des automates, thèse de doctorat d’Etat, Université de Paris I, 1989, imprimé par l’Atelier National de reproduction des thèses, Université de Lille III, tome 1, p. 20-21 et J. Largeault, La logique, Presses Universitaires de France, Paris, 1993, p. 55.
98 Il s’agit d’une question portant sur l’appartenance, parce qu’on ne dit pas pourquoi la 124ème décimale du développement décimal de est tel ou tel chiffre mais seulement lequel il est.
développement décimal d’un nombre réel comme ? Non, car il y a des questions portant sur une propriété dont on ne connaît pas d’instance qui la vérifierait, sans avoir de preuve qu’il n’en existe aucune. Par exemple99, on n’a aucun moyen de répondre à la question : “Le nombre de paires de chiffres consécutifs identiques dans le développement décimal de est-il fini ou non ?”. il faudrait, pour répondre à la question, connaître l’intégralité du développement décimal de .
De façon générale100, on se trouve donc dans la situation suivante : pour chaque objet n d’une classe infinie (comme par exemple les places du développement décimal de ), on sait déterminer si chaque objet n vérifie une propriété donnée P ou non (par exemple la propriété que deux chiffres consécutifs du développement décimal de soient égaux ou pas), mais on n’a ni le moyen d’exhiber un objet vérifiant P (dans l’exemple choisi, de calculer que deux places consécutives du développement décimal de sont occupées par le même chiffre) ni le moyen de démontrer que l’hypothèse que l’un des objets n de la classe infinie vérifie P implique contradiction (dans l’exemple, de démontrer qu’il ne peut pas y avoir deux chiffres égaux consécutifs dans le développement décimal de ).
Cette façon de traiter la question de la décision est de nature intuitioniste.
Dans le contexte du débat entre intuitionistes et formalistes, cette façon d’interpréter la nature de la notion d’algorithme et la question de la décision revient en effet à formuler une critique du principe logique du tiers exclu.
L’existence de problèmes non résolus, que leur absence de solution soit provisoire ou définitive, empêche de tenir à l’avance pour vraies des alternatives dont ni le membre affirmatif ni le membre négatif n’ont été prouvés vrais : le principe du tiers exclu n’a donc pas, dans ce cas, de validité universelle. L’existence de problèmes ouverts de ce type tend à corroborer l’idée selon laquelle il n’y a aucune raison a priori de considérer que tout problème mathématique est soluble101. Dès lors, circonscrire une fois pour toutes la classe des algorithmes
99 L’exemple est de Brouwer dans “Qu’on ne peut pas se fier aux principes logiques”, traduction française dans [J. Largeault éd., Intuitionisme et théorie de la démonstration, op. cit.], p. 22.
100 Cf. J. Largeault, Intuition et intuitionisme, op. cit., p. 45.
101 Brouwer l’exprime sous cette forme : «Si chaque application du principii tertii exclusi en mathématiques accompagnait une procédure mathématique réelle, cela signifierait que chaque
paraît impossible puisqu’on n’a pas les moyens qui permettraient de circonscrire la classe en question.
122. Effectivité et décision dans un contexte formaliste
Hilbert connaissait les exemples d’alternatives non décidables proposés par les intuitionistes : définir une partie d’ensemble infini par une propriété positive laisse en général indéterminé le complémentaire de cette partie102. Il a lui-même rappelé (suivant sans doute en cela les remarques critiques formulées par Brouwer) que de la fausseté de (n) P(n), on n’a pas le droit d’inférer qu’il existe un entier n tel que ¬ P(n). Mais, contrairement à Brouwer, il a cherché à obtenir des résultats généraux touchant la délimitation du domaine du décidable.
Pour ce faire, Hilbert souscrit à un principe philosophique très différent de celui de Brouwer, celui de la résolubilité universelle des problèmes mathématiques. La question de la décision ne peut se poser dans toute sa généralité qu’une fois adopté le principe en question. En effet, établir un résultat de décidabilité, qu’il soit positif ou négatif (c’est-à-dire un résultat d’impossibilité), exige dans les deux cas de supposer que le problème est quoi qu’il arrive résoluble (positivement ou négativement). Cependant, l’adoption d’un tel principe est nécessaire sans être suffisante. C’est par le bais de la logique que la question de la décidabilité prend toute sa portée : en effet, puisque les propositions mathématiques peuvent être représentées formellement sous l’aspect d’énoncés de la logique du premier ordre, la question de la décision touchant la dérivabilité au sein de cette logique vaut comme question de décidabilité pour tout énoncé mathématique103. Cette question est celle de l’Entscheidungsproblem au sein de la logique du premier ordre. On peut l’exprimer sous la forme suivante : peut-on décider pour tout énoncé formulé dans la logique du premier ordre s’il est ou non dérivable à partir des axiomes de cette logique ?
Pour parvenir à répondre à une telle question, il faut préciser ce que l’on
assertion mathématique (chaque assignation d’une propriété à une entité mathématique) pourrait être jugée, c’est-à-dire être soit prouvée soit réduite à l’absurde». L. E. J. Brouwer, Cambridge Lectures on Intuitionism, 1981, p. 5 cité dans J. Largeault, L’intuitionisme, op. cit., p. 40.
102 Cf. J. Largeault, Intuition et intuitionisme, op. cit., p. 105.
103 Cf. J. Largeault éd., Intuitionisme et théorie de la démonstration, op. cit., p. 176.
entend par dérivabilité au sein de la logique. Or pour réussir à savoir s’il y a des limites à la dérivabilité, il faut réussir à préciser ce que l’on entend par calcul effectif. C’est en particulier une réponse négative à la question de l’Entscheidungsproblem qui obligerait à préciser quelles sont les limites à la dérivabilité puisque, dans ce cas, il y aurait comme un au-delà du dérivable.
C’est précisément cette analyse qu’opère Turing : en proposant une description du concept de calculabilité effective, celui-ci parvient à résoudre par la négative l’Entscheidungsproblem. Il faut donc maintenant en venir à la description de ce que l’on doit entendre par “calculable par machine”.