1. Organisation des attributs pour la reconnaissance des instruments

a l’ensemble des attributs explor´es (r´esum´es dans le tableau IV.1). Nous ´etudions par ailleurs, l’apport d’un traitement diff´erenci´e entre les segments correspondants aux attaques (onsets) des notes et ceux correspondants aux parties tenues des sons. C’est en effet une propri´et´e psychoacoustique reconnue que les attaques jouent un rˆole important dans notre perception du timbre instrumental. Cette ´etude est le fruit d’une ´etroite collaboration avec Pierre Leveau, qui a donn´e lieu `a une publication commune [Essid et al., 2005a].

VIII-1. Organisation des attributs pour la reconnaissance des instruments

Grˆace `a notre approche de s´election FSFC (cf. section VI-7-A) nous sommes en mesure d’organiser les attributs par cat´egories (clusters), tri´ees par ordre d´ecroissant d’efficacit´e. Au sein de chaque cluster (un cluster regroupant un sous-ensemble d’attributs “proches” les uns des autres, consid´er´es comme redondants), les attributs sont ´egalement tri´es par ordre d´ecroissant d’efficacit´e. Ce tri d´ecoule de la sortie des diff´erentes instances de l’algorithme de s´election Fisher, appliqu´e dans chaque cluster puis sur les repr´esentants des diff´erents clusters (comme d´ecrit dans la section VI-7-A).

L’organisation obtenue `a partir des donn´ees d’apprentissage INST-A relatives aux 19 instru-ments consid´er´es (cf.section II) est pr´esent´ee dans le tableau VIII.1 o`u les 40 meilleurs clusters ont ´et´e retenus. Les d= 40 attributs s´electionn´es par FSFC pour la classification multi-classes

136 VIII. Caract´erisation sp´ecifique `a la classification des instruments de musique

des instruments sont simplement les premiers ´el´ements apparaissant dans chaque cluster. Ce choix de dr´esulte des exp´eriences pr´eliminaires sur la s´election d’attributs (cf.chapitre VI).

1 :Cp2, Ld15,δ²lTw, OBSI7, Sk, DWCH28

2 :OBSIR1, DWCH11, qCq3, Si5, SMR22, OBSI8, dCq2, Cc4, ASF9, AC8, AC3, AC47, ASF11, AC11, SMR30, AC28

3 :Cp3, Cc7, SMR13, Cp10, Si13, Ld1, dCq8, Si17, AC33

4 :Cp7, Cp4, Ld5, uCq5, Cc10, OBSIR2, AC39, W2 5 :OBSI5, So 6 : Ld14, Ld23 7 :Sh 8 :tCq2, dCq9, SMR9, dCq4, DWCH12, SMR3, SMR7, SMR27, Ld9, SCF17, SMR39 9 : SCF5 10 : Sp, lZ 11 :AR2, SMR4, dCq5, uCq4, SCF19, SCF21, Sd, lTk, W5, SCF15, AC1, AC43,δlTw

12 : OBSI2, Ld3, Ld6, SMR19, SCF12, ASF17, Ld2, ASF6, tCq8 13 : AR1 14 :Cc2, Sc 15 : ASF14, Ld19 16 :Cc5, (ampl. AM)×(freq. AM) 10-40Hz, DWCH10, DWCH23, Cc9

17 : W1, Ld16, Ld22 18 : qCq2, Cc3, OBSIR5, qCq5, Cp6, DWCH24, SMR14, Sa, SMR18, dCq1, AC42

19 : SCF13, SCF6, Ld11, SCF8, ampl. AM heurist. 4-8Hz, Ld17 20 :Ld8 21 : DWCH25 22 : OBSI3, SCF2, ASF3, SCF3, Ld20 23 :ASF15 24 :SCF9, SCF22

25 : (ampl. AM)×(freq. AM) 4-8Hz 26 :SCF16, tCq3 27 :W4

28 : ASF10, DWCH14, ASF19, Si11, SMR11, SMR20, Si2, AC22, SMR25, SMR43, Si9, SMR6, DWCH15, AC23, DWCH16, SMR40, AC40, AC10, SMR15, AC26, SMR35, SMR12, AC41, AC12, SMR21, AC37,δSw, AC45,δ²lTa, δ²Cc0, DWCH17, δ²dCq1,δtCq3,δ²Cp6

29 : ASF16, dCq3, OBSIR6 30 :uCq3, OBSI4, Cc1

31 : Ss, Cp5, ASF20, Z, DWCH13, OBSI1, SMR36, Si3, AC7, AC44, Si4, SMR23, Si14, AC49, Si20,δlTk, SMR34, SMR29,δ²lTa, δ²Ta

32 : Ld7, Cp1 33 :SCF11 34 :Ld10 35 : ampl. AM 4-8Hz

36 : Si1, Si7, OBSIR4, SMR5, AC25, AC18, SMR45, qCq9, uCq8, SMR17, DWCH20, SMR16, SMR44, AC30, Sw, SMR50, AC31, δTa,δLd1,δdCq5, δ²dCq2, δtCq5,δLd21,δqCq3, δCp4,δ²Cp10, δLd22, δ²Sc,δ²qCq3, δ²uCq1,δ²Sw, δuCq3,δ²Ld19,δqCq1, δ²Ld22,δLd19, δLd5, δ²Ld10

37 : tCq1 38 :ASF23 39 :DWCH26, Cc8, ASF13, tCq4, AC2 40 : ampl. AM heurist. 10-40Hz .

Tab. VIII.1 Organisation des attributs. Les 40 clusters les plus efficaces par ordre (d´ecroissant) d’efficacit´e.

Les observations suivantes peuvent ˆetre faites concernant les clusters d’attributs :

– les 40 clusters les plus performants (parmi les 60 consid´er´es pour le clustering) ne couvrent que 43% des attributs initialement consid´er´es (233/543 attributs), pourtant tous les

des-VIII-1. Organisation des attributs pour la reconnaissance des instruments 137

cripteurs (paquets d’attributs) consid´er´es sont repr´esent´es dans ces 40 clusters (au travers d’un sous-ensemble de leurs composantes, par exemple 13 coefficients sur 23 pour le des-cripteur ASF) ;

– des attributs extraits dans des domaines diff´erents (temporel, spectral, cepstral et percep-tuel) se retrouvent dans des mˆemes clusters : le premier cluster, par exemple, regroupe un coefficient cepstral (Cp2), un coefficient de Loudness (LD15), deux coefficients issus d’une repr´esentation spectrale (OBSI7 et Sk) et deux coefficients issus d’une repr´ esen-tation temps-fr´equence (δ²lT w et DW CH28). De plus, pour les descripteurs spectraux, des attributs mesur´es dans des r´egions fr´equentielles ´eloign´ees sont parfois assign´es aux mˆemes clusters. Il apparaˆıt ainsi que la volont´e de concevoir des descripteurs caract´erisant des propri´et´es diff´erentes des classes d’instruments ne soit pas refl´et´ee dans les attributs extraits, qui pr´esentent souvent des distributions de valeurs assez proches.

Int´eressons-nous maintenant aux attributs s´electionn´es (ceux qui ont le rang 1 dans chaque cluster, ils sont pr´esent´es en gras et list´es dans le tableau VIII.2). Nous observons que :

– les descripteurs les plus fr´equemment s´electionn´es sont des descripteurs spectraux. 18/40 des descripteurs s´electionn´es sont des descripteurs spectraux, parmi lesquels on retrouve la pente spectrale Ss, le coefficient d’irr´egularit´e spectrale Si1, les 2 coefficients AR, 5 coefficients ASF, 5 coefficients SCF, 3 OBSI et OBSIR1. Notons que ces 4 derniers coefficients sont class´es dans les attributs les plus efficaces (deux d’entre eux sont class´es dans les cinq premiers attributs), ce qui indique que ce nouveau descripteur est efficace pour notre tˆache. En outre, nous remarquons, concernant les attributs calcul´es sur plusieurs sous-bandes fr´equentielles, que la majorit´e de ceux qui sont s´electionn´es est associ´ee `a des r´egions de moyennes fr´equences (autour de celle du La4 `a 440Hz) ;

– 9 coefficients cepstraux se trouvent parmi les attributs s´electionn´es. Ils comprennent des coefficients issus de repr´esentations cepstrales diff´erentes (Cc, Cp, uCq, tCq et qCq).

Les coefficients cepstraux font partie des attributs les mieux class´es par l’algorithme de s´election, particuli`erement les attributsCp qui se positionnent `a trois reprises parmi les 5 meilleurs attributs ;

– 3 param`etres perceptuels sont class´es parmi les 10 premiers attributs s´electionn´es : la sharpness Sh, l’´etendue perceptuelle Sp et le coefficient de loudness Ld14. Au total on retrouve 6 param`etres perceptuels parmi les attributs s´electionn´es ;

– les attributs obtenus `a partir de la transform´ee en ondelettes s’av`erent ´egalement utiles `a

138 VIII. Caract´erisation sp´ecifique `a la classification des instruments de musique

la classification des instruments, 4 de ces attributs ont ´et´e retenus (W1, DW CH25, W4, DW CH26) ;

– enfin des attributs temporels consid´er´es, seuls des param`etres de modulation d’amplitude ont ´et´e s´electionn´es : 2 attributs d´ecrivant le tr´emolo, le produit de la fr´equence AM et de l’amplitude AM, ainsi que l’amplitude AM dans l’intervalle 4-8Hz, et un attribut d´ecrivant la rugosit´e des sons, i.e.l’amplitude AM heuristique dans l’intervalle 10-40Hz.

Les rapports signal `a masque (SMR) n’ont pas ´et´e retenus par l’algorithme FSFC dans ce contexte, mˆeme s’ils sont largement repr´esent´es dans les 40 clusters s´electionn´es. Nous verrons qu’ils seront utiles dans un contexte multi-instruments.

VIII-2. Utilit´ e d’un traitement diff´ erenci´ e des attaques de notes

Des ´etudes en cognition et acoustique musicale indiquent que les transitoires d’attaque et de fin de notes musicales int`egrent une part importante de l’information utile `a l’identification des instruments (voir par exemple [Clark et al., 1964, McAdams et al., 1995]). L’information sur le mode de production des sons est essentiellement localis´ee au d´ebut et `a la fin des notes, typiquement les impulsions de souffle pour les intruments `a vent, les coups d’archet pour les cordes frott´ees ou les pincements et coups de marteau pour les cordes pinc´ees et frapp´es (par exemple, le piano et la guitare). Des exp´eriences de cognition musicale ont ainsi montr´e que des descripteurs caract´erisant le d´ebut des notes de musique participent `a la discrimination des instruments par l’Homme.

Dans le contexte de la reconnaissance automatique des instruments `a partir de notes isol´ees, des descripteurs acoustiques extraits `a partir des transitoires d’attaque (par exemple la dur´ee de l’attaque, le facteur de crˆete, etc.) se sont montr´e efficaces, et ce particuli`erement pour la discrimination de familles d’instruments [Eronen, 2001a, Peeters, 2003]. Cependant, l’extraction de tels descripteurs `a partir de phrases musicales dans des conditions de jeu r´ealistes, impliquant des transitions plus ou moins rapides entre notes, n’est pas ais´ee. Comme nous l’avons vu, les signaux de musique sont dans ce cas analys´es sur une succession de fenˆetres temporelles de taille fixe, sans qu’aucune distinction ne soit faite entre segments transitoires et segments non-transitoires. Du fait que les segments non-transitoires sont g´en´eralement de dur´ee beaucoup plus courte que les segments transitoires, l’information v´ehicul´ee par ces derniers se retrouve dilu´ee dans l’´etendue du signal et son impact sur les performances finales de classification devient

VIII-2. Utilit´e d’un traitement diff´erenci´e des attaques de notes 139

faible.

Nous cherchons `a savoir s’il est possible d’exploiter efficacement les propri´et´es des transitoires d’attaque au sein d’un syst`eme de reconnaissance des instruments `a partir d’extraits mono-instrumentaux. Cela suppose que nous puissions d´etecter les segments comprenant les transi-toires (d’attaques), pour effectuer un traitement diff´erenci´e de ces derniers et des segments non-transitoires (le reste des segments). Nous ferons pour cela appel `a la technique de segmentation d´ecrite dans la section III-3-B. Notre approche consiste `a produire des s´elections d’attributs particuli`eres pour chaque type de segments (transitoires¹ et non-transitoires), s´elections qui sont utilis´ees pour construire des classificateurs diff´erents pour chaque type de segment.

Nous rappelons que la segmentation retenue se base sur un d´etecteur d’attaques : lorsqu’une attaque est d´etect´ee, N_t fenˆetres d’analyse (courtes), comprenant et suivant l’attaque, sont consid´er´ees comme faisant partie d’un segment transitoire. Deux “longueurs de transitoires”

sont exp´eriment´ees : N_t= 2 (≈50ms) et N_t= 4 (≈80ms). Ces choix d´ecoulent de la n´ecessit´e de r´ealiser un compromis qui englobe des transitoires de dur´ees variables (ces dur´ees peuvent ˆetre inf´erieures `a la longueur de la fenˆetre d’analyse ou au contraire correspondre `a celles de plusieurs fenˆetres d’analyse).

Nous exploitons dans les exp´eriences suivantes le corpusSUB-INS. Apr`es segmentation, chaque fenˆetre d’analyse de 32ms est affect´ee `a l’une des deux cat´egories que nous nous sommes donn´ees :

“transitoires” ou “non-transitoires”.

Deux sous-ensembles de donn´ees sonores sont ainsi constitu´es : un sous-ensemble d’observations de fenˆetres transitoires et le sous-ensemble compl´ementaire form´e des observations de fenˆetres non-transitoires.