Cette partie consiste à mettre en œuvre des techniques de clustering à différents niveaux et selon différentes caractéristiques.
Classer est humain.
Dans son contexte le plus général, classifier signifie assigner classes ou catégories à des objets selon leurs propriétés. Comme une rapide visite dans n’importe quel supermarché ou boutique le montrerait, les humains aiment mettre ensemble les objets (qui par une ou plusieurs propriétés) ont des points communs : les pantalons à proximité des t-shirts, les tomates à proximité de la salade, les oranges à proximité des melons. Mais la passion pour la classification va bien plus loin puisqu’elle est étendue aux objets personnels, aux hobbies, aux comportements, aux gens, et bien sûr, à la science et à la technologie. De fait, les humains ont maintenant quasiment classé toutes les espèces vivantes et matériaux connus sur Terre.
Classifier élimine la redondance et Classifier n’est pas facile.
5.2.1 Méthodes génériques
Nous proposons ici de réaliser un succinct tour d’horizon des moyens nécessaires à identifier et reproduire la classification optimale des données que ce soit à partir d’une image ou d’un vecteur d’attributs.
Il existe plusieurs méthodes ou stratégies pour classifier les pixels, les régions ou les attributs, localement ou globalement. Nous proposons ici de résumer les méthodes les plus connues et les plus utilisées dans la classification d’images et d’apprentissage machine.
Pour expliquer l’intervention de l’expert humain dans l’aide ou la contrainte de l’algorithme de classification, on parle de supervision. Lorsque l’expert intervient, il supervise l’algorithme. Logiquement s’il intervient partiellement, la méthode est semi-supervisée et s’il n’intervient pas, on parle de méthodes non-supervisées.
Les stratégies supervisées peuvent être décrites comme nécessitant une information à priori pour classifier les échantillons. Par exemple, pour réaliser une segmentation de l’image, l’algorithme nécessite d’avoir des marqueurs positionnés par l’utilisateur. Ces marqueurs sont des pixels pré-identifiés comme appartenant à une classe avant l’opération de classification. L’algorithme nécessite l’intervention de l’expert pour construire le modèle de classes.
Les stratégies semi-supervisées sont analogues aux précédentes mais ne nécessitent qu’une intervention partielle de l’expert. Par exemple, seule la méthode de définition des marqueurs est choisie par l’expert et l’algorithme calcule seul leurs positions exactes ou la valeur du seuil est fixée par l’expert et l’algorithme répartit automatiquement la classification. Une autre possibilité serait de fournir l’apprentissage nécessaire à l’entraînement de la classification non supervisée (avec un nouveau lot de données dans le cas des réseaux de neurones par exemple).
Les stratégies non-supervisées ne nécessitent pas ou plus d’intervention de l’expert pour définir le ou les critères d’attribution des classes.
Ainsi, les mêmes méthodes de classification peuvent être jugées subjectivement suivant différentes approches, selon la considération de ce qui appartient ou non à l’algorithme. En soi, par exemple, le choix d’une des méthodes de classification est une forme de supervision mais il n’existe pas que des méthodes supervisées. Nous présentons par la suite des méthodes avec une tendance soit plutôt supervisée [1], soit plutôt non supervisée [2]. Les méthodes sont telles que :
• la méthode des k plus proches voisins ou k-ppv [1]
L’expert fournit des exemples de chaque classe ou la règle de décision permettant de définir les exemples, et l’algorithme attribue la classe du pixel par correspondance de la valeur minimale de la distance entre le pixel et les exemples de classes.
k définit le nombre de voisins à comparer. Par exemple, si k = 3, le pixel aura la classe majoritaire parmi ses 3 voisins les plus proches.
• la méthode bayésienne [1]
D’une manière analogue à la méthode précédente, l’expert fournit la règle de décision des classes et l’algorithme établit des probabilités d’appartenance, conditionnelles ou non. De manière courante, cette méthode s’appuie sur l’histogramme. Les probabilités conditionnelles, établies en connaissance des attributs du pixel, peuvent apporter plus de précision et de fiabilité à l’algorithme. La classe est attribuée en correspondance avec la plus forte valeur de probabilité. L’algorithme k-ppv est généralement qualifié de méthode "rigide", sans remise en cause des critères de décision des classes.
• la méthode de la machine à vecteurs de support ou SVM [1]
Cette méthode est aussi appelée méthode des séparateurs à vastes marges et elle a été initialement définie pour un problème de discrimination à deux classes. Elle consiste à construire dans l’espace des attributs, un hyperplan séparant les valeurs représentatives de chacune des deux classes.
• la méthode des k-means ou nuées dynamiques [2]
C’est une méthode assez similaire à celle des k-plus proches voisins dans la comparaison des pixels mais qui a l’avantage de réduire drastiquement le coût d’espace mémoire nécessaire à la classification. En effet, plutôt que de se référer à des prototypes réels, la méthode des k-means utilise la valeur moyenne ou valeur du barycentre comme référence de chaque classe. Par contre, l’algorithme des k-means est généralement associé à une méthode automatique qui tend à définir la taille des classes automatiquement en maximisant un critère comme la variance inter-classe.
• la méthode du dendrogram ou classification hiérarchique. [2]
Cette méthode consiste à classer les attributs dans un ordre croissant en fonction de leur pouvoir discriminant. L’attribut discriminant le plus grand nombre de prototypes, parmi l’ensemble de prototypes restants, fournit la valeur de distance la plus grande. Ainsi, il est possible d’illustrer le lien progressif de séparation entre les prototypes à classer par un arbre. Les branches sont alors pondérées par la valeur de distance offrant une séparation binaire. L’avantage de cette méthode est qu’elle est réversible car elle permet de définir le critère de séparation en fonction du nombre de classes souhaitées (comme la valeur de distance) ou au contraire de trouver le couple optimisé des deux valeurs (le nombre de classes et la distance de séparation, les deux étant minimisés).
• la méthode des réseaux de neurones artificiels [2]
Cette méthode, inspirée par le système nerveux biologique, est composée d’éléments simples appelés neurones et répartis sous forme de couches. Ces éléments sont connectés entre eux par des liaisons affectées de poids. Cette méthode fournit une démarche de boîte noire car elle consiste à fournir toutes les données (un maximum possible) au système neuronal. Ce dernier est composé de trois phases. Une première phase consiste à entraîner le réseau de neurones avec un jeu de données en correspondance avec une classification connue. La deuxième phase consiste à vérifier l’entraînement par le réseau neuronal avec un deuxième jeu de données et une classification connue. Enfin, si la deuxième phase est cohérente, la troisième phase consiste à utiliser le réseau de neurones en ligne.
5.2.2 Synthèse des concepts génériques
D’après les résultats présentés dans la littérature (notamment leurs facilités d’implémentation ou leurs performances), seront utilisées la méthode des k-means, la méthode du dendrogram et celle des réseaux de neurones, chacune avec la distance euclidienne normalisée. Les réseaux de neurones ont à ce jour les meilleurs scores publics de classification, mais les deux autres méthodes permettent une approche plus pédagogique du problème.