Diverses autres applications

Avec l’explosion de la communication numérique, grâce en particulier à Internet, la quantité de données consultables dans un domaine scientifique est sans cesse croissante. Beaucoup d’outils pour l’indexation automatique de textes, mais aussi d’images, de sons ou bien encore de vidéos, sont apparus. Toutefois, la possibilité d’effectuer ce type de re- cherches n’existe pas dans le cadre des formules mathématiques. Des standards comme MathML permettent la représentation des mathématiques en HTML. Pour rendre disponible et consultable à distance l’abondance de données scientifiques, un système d’indexation de documents est nécessaire, ainsi que pour pouvoir bénéficier des connaissances fournies sous la forme d’expressions mathématiques. Un tel système découlerait directement de l’exten- sion des systèmes pour la reconnaissance de documents scientifiques.

Quelques applications plus anecdotiques peuvent être mentionnées comme la possibilité de faire un copier/coller entre un visualisateur de document et un éditeur (pour les cas où l’on ne possède pas le document source) ou un système de calcul. Ce type d’application permettrait dans le même temps une conversion de plusieurs sources en un format unique.

Après avoir passé en revue différents types d’applications réalisables avec un système de reconnaissance structurel des formules mathématiques, nous allons analyser plus en détail dans les paragraphes suivants, les diverses méthodes permettant de résoudre ce problème. Nous examinerons les principales difficultés liées à la reconnaissance de notations bidimen-

[1] WAHLF.M., WONGK.Y. & CASEYR.G., Block segmentation and text extraction in mixed text/image documents (1982).

[2] KRISHNAMOORTHYM., NAGYG., SETHS. & VISWANATHANM., Syntactic segmentation and labe- ling of digitized pages from technical journals (1993).

[3] JAINA.K. & JUB., Page segmentation using document model (1997). [4] FATEMANR.J., How to find mathematics on a scanned page (1997).

3. Définition des notations mathématiques

sionnelles, comme pour les expressions mathématiques, par rapport à une “simple” recon- naissance de texte. Mais commençons par définir plus précisément ce qu’est une notation mathématique.

3

Définition des notations mathématiques

Avant de s’intéresser au problème de la reconnaissance proprement dite, abordons avant tout la définition d’une notation mathématique. Comment définir la syntaxe et la sémantique de ce langage bidimensionnel ? Les notations mathématiques n’ont malheureusement pas été définies formellement et n’ont été qu’à demi standardisées [?][1]_{, autorisant par là-même des}

variantes dans les notations et la manière de les représenter.

G. Martin suggère dans [?][2]que l’étape préalable à l’automatisation du traitement des notations mathématiques est l’étude de ces notations. Il présente une brève liste des conven- tions trouvées dans les publications scientifiques. Voici un aperçu des sources d’informations possibles sur les notations mathématiques.

– Descriptions de formatage : plusieurs ouvrages ont été publiés décrivant les notations mathématiques.

– Descriptions introduites dans les systèmes de formatage de formules : les générateurs de notations mathématiques contiennent des descriptions qui peuvent être utilisables. Dans [?][3]

, D. Knuth décrit les règles d’écriture définies dans TEX pour le formatage des expressions mathématiques.

– Expertise humaine : la communication avec des experts en notations mathématiques peut aider à la définition de conventions appropriées et adaptées aux systèmes de re- connaissance.

Afin de simplifier quelque peu la reconnaissance, il est possible de restreindre le pro- blème en limitant le système à un certain style de formatage. Ce principe a été utilisé par P. Chou [?][4]_{pour la mise au point de son application. Il semble évident que cette restriction}

contribue à une simplification du problème si l’on connaît la technologie ayant permis de mettre en forme la notation. Il faut toutefois bien penser à conserver la possibilité d’adapter le principe à des notations produites par d’autres systèmes.

Nous pouvons cependant déterminer un ensemble de critères regroupant les opérateurs mathématiques. Cela nous conduit à des classes d’opérateurs qui ont des propriétés com- munes sur la manière de les représenter, de les reconnaître et donc de les interpréter.

[1] HIGHAMN.J., Handbook of Writing for the Mathematical Sciences (1993). [2] MARTINW.A., Computer input/output of mathematical expressions (1971). [3] KNUTHD.E., Mathematical typography (1979).

– Arrangement spatial : l’arrangement spatial d’un opérateur définit la localisation possible des opérandes. L’agencement des opérandes autour de l’opérateur qui les relie, relève plus des conventions d’usage que de réelles normes. On peut donner comme exemple le cas d’une intégrale ou les indices définissant l’intervalle d’inté- gration peuvent être au dessus et en-dessous du symbole, ou bien en haut à droite et en bas à droite.

– Priorité des opérateurs : la priorité des opérateurs définit un ordre pour l’évaluation de l’expression.

– Identification : l’identification de symboles particuliers restreint les possibilités de regroupement avec les symboles environnants. Dans la plupart des cas, l’identification d’un symbole permet de savoir si ce symbole est un opérateur ou une opérande, et la connaissance de son arrangement spatial permet de localiser les zones où se situent les opérandes.

– Placement relatif des symboles : le placement relatif des symboles est crucial dans le cas d’opérateurs implicites. Si un opérateur explicite regroupe plusieurs opérandes (+, Σ,), la liberté pour positionner les opérandes est plus grande. Dans le cas d’une notation implicite (x × y que l’on note xy), le placement relatif des symboles est primordial pour déduire le rôle de chacun.

– Taille et style relatif des symboles : la taille relative des symboles donne des indices pour résoudre les ambiguïtés dans les relations spatiales, ce qui est particulièrement important dans le cas de notations implicites. Prenons l’exemple d’une diminution de la taille des caractères, qui signifie de toute évidence que les symboles considérés sont en position d’indice ou d’exposant. Pourtant, ce constat n’est pas une contrainte forte ; ceci est particulièrement flagrant dans le cas de notations manuscrites, où les libertés que prennent les rédacteurs sont grandes.

Malgré quelques indices qui peuvent aiguiller la reconnaissance d’expressions mathéma- tiques, le problème reste difficile tant les particularités sont nombreuses. Nous allons détailler dans le paragraphe suivant quelques unes des difficultés spécifiques à la reconnaissance de notations mathématiques.

4

Difficultés par rapport à la reconnaissance de textes

Beaucoup de recherches sont effectuées dans le domaine de la reconnaissance optique de caractères (OCR : Optical Character Recognition). Celles-ci ont conduit à des produits commerciaux comme OmniPage, TextBridge, etc. Nous allons nous attacher à identifier les différences fondamentales entre la reconnaissance de mots et la reconnaissance de caractères isolés afin de mettre en exergue les difficultés liées à la reconnaissance des symboles com- posant une expression mathématique.

4. Difficultés par rapport à la reconnaissance de textes

À des fins de recherche, il est possible de s’abstraire de cette étape pour se concentrer sur l’analyse de l’agencement des symboles afin d’en déduire la structure de la formule. Ainsi, des jeux de données peuvent être obtenus en corrigeant manuellement les erreurs, ou en simulant l’étape de reconnaissance des symboles. Cette approche à été utilisée, entre autre, dans [?][1]_.

Nous commençons par nous intéresser aux problèmes qui interviennent lors de la recon- naissance des symboles composant une expression mathématique. Il est en effet important de comparer les problèmes rencontrés avec ceux qui se produisent dans d’autres domaines de l’analyse de documents. Quelques critères ont été retenus qui nous permettront de déduire les principes majeurs des difficultés rencontrées lors de la reconnaissance des symboles. Les remarques faites s’appliquent à divers types de notations bidimensionnelles, et en particulier au cas des expressions mathématiques.