Chapitre 5: Système automatique de reconnaissance des signaux acoustiques sous-marins
H. Mesure de performance
Pour qualifier le système il faut être capable de mesurer sa performance, de plus nous avons vu que l'estimation du taux de bonnes classifications servait au paramétrage des SVM et à la sélection des descripteurs.
Deux choix s'offrent à nous suivant la taille de notre base d'apprentissage:
- utiliser l'estimation leave-one-out
- utiliser la validation croisée 10-fold, c'est-à-dire que l'on utilise 109 de la base pour l'apprentissage et on teste sur les 101 et on effectue une permutation des paquets, il est à noter que le nombre de fold optimal à utiliser durant la validation croisée est dépendant des données. Sachant que la partition des signaux en paquets est aléatoire il est nécessaire de répéter l'opération un grand nombre de fois afin de ne pas biaiser l'estimation, c'est une approche de type Monte-Carlo, où l’expérience est répétée 100 fois. Dans la première approche chaque élément de la base de test a reçu un tag de classification de manière automatique, et on le compare avec l'étiquette qui a été donnée manuellement par l'expert, en faisant ainsi on peut estimer la performance du système d’identification automatique.
Ce système a été implémenté en MATLAB
®
et ensuite porté en C++, il est le fruit de ces 3 années de thèse. Cependant des évolutions sont envisageables, nous les exposerons lors des perspectives. Les résultats sur signaux réels sont prometteurs, et vont être testés en situation opérationnelle. Malheureusement, pour des raisons évidentes dues à la confidentialité des signaux réels, les résultats ne peuvent pas être exposés en détail dans le manuscrit. Nous pouvons néanmoins dire qu’une amélioration des résultats a été observée par rapport à l’ancien système d’identification.150
Conclusion ge ne rale
Nous avons traité dans cette thèse la question de la représentation et de la reconnaissance des signaux acoustiques sous-marins. Le travail mené au cours de cette thèse a permis d’obtenir un système de reconnaissance automatique des signaux acoustiques sous-marins.
L’architecture de notre système final exploite un schéma de classification hiérarchique qui repose sur une taxonomie définie à l’aide d’experts en reconnaissance acoustique. Ce système est principalement constitué de trois grands modules :
Représentation du signal à identifier ;
Description du signal d’après la représentation précédente ;
Reconnaissance du signal.
Le premier module concerne la représentation des signaux acoustiques sous-marins, nous avons réalisé un état de l’art des techniques des représentations temps-fréquence qui sont adaptées à la non-stationnarité des signaux réels. Ensuite partant du postulat que l’humain est le meilleur des classifieurs, nous avons construit une représentation, l’Hearingorgam, basée sur la physiologie humaine en utilisant les filtres de Mel. Les résultats présentés ont montré une amélioration du spectrogramme dans les différentes expérimentations, pouvant ainsi faciliter l’identification automatique de certains phénomènes.
La seconde partie de ce module concerne la réduction du bruit au sein des signaux acoustiques sous-marins, nous avons donc comparé différentes techniques de l’état de l’art et confronté les résultats obtenus à un algorithme de réduction du bruit de l’Hearingogram : le Denoised Hearingogram. Les résultats de cet algorithme sont très intéressants. Bien qu’ils restent néanmoins proches de ceux obtenus par certaines approches de l’état de l’art, cette méthode nécessite peu, voir pas, de réglages de paramètres contrairement aux autres techniques. Cela est un avantage non négligeable pour l’implantation dans un système automatique.
Ces différents travaux sur l’Hearingogram et le Denoised Hearingogram ont mené à trois actes de conférences [103] [104] [105].
Le second module du système concerne la description du signal. Afin de produire un ensemble de descripteurs efficace, nous avons expérimenté plusieurs descripteurs de l’état de l’art de plusieurs types tel que morphologiques, statistiques, cepstraux et perceptuels. Les plus efficaces de ces descripteurs ont été retenus au moyen d’un algorithme de type enrouleur avec un algorithme d’exploration SFFS, qui reste la méthode la plus efficace malgré un temps de calcul conséquent. L’emploi de méthodes automatiques de sélection des descripteurs se justifie par le fait que la notion de pertinence est très complexe et ne peut être jugée indépendamment sur chaque descripteur.
Ensuite, un algorithme de sélection des descripteurs a été développé, ce dernier est basé sur une extension sur plusieurs dimensions du critère MMD, il s’agit de l’EMMD. Cependant, malgré des
Description du système automatique d’identification des signaux acoustiques sous-marins
151
résultats prometteurs sur certaines bases de données, cet algorithme a un défaut majeur lorsque l’on applique sur des données en grande dimension, il s’agit du fléau de la dimension.
Il est à noter que nous effectuons cette opération de sélection de façon binaire en recherchant un sous-ensemble d’attributs optimal pour la discrimination de chaque paire de classes possibles. En plus d’être performante, cette méthode offre la possibilité d’acquérir une meilleure compréhension du problème d’identification et de suggérer des voies d’amélioration du système.
Les travaux sur l’algorithme EMMD ont donné lieu à un acte de conférence [106].
Par la suite, nous nous sommes penchés sur le module d’identification. Nous avons choisi d’utiliser les machines à vecteur support. Cependant, les SVM s’appuient sur des hypothèses contraignantes qui nous ont obligés à étudier les méthodes d’extension à plus de deux classes. Elles ont été utilisées à base de décision binaire, qui s’appuie sur un arbre de classification, chaque nœud de l’arbre est une décision binaire à prendre à l’aide des SVM. De plus, une étude de la sélection de paramètres efficaces a été réalisée et nous avons donc mis en place une procédure de sélection par maillage.
Enfin un effort important a été consacré à la constitution d’une base de données de signaux acoustiques sous-marins et sur la création de classes permettant l’évaluation des systèmes proposés. Malheureusement, pour des raisons de confidentialité nous ne pouvons pas communiquer à propos de cette base de données.
Les différents choix du système d’identification sont exposés dans le dernier chapitre de ce manuscrit, avec la justification de chaque choix. Ainsi les différentes mesures de performance ont montré une amélioration des résultats par rapport à ce qui était fait précédemment au sein de l’entreprise.
152