Synthèse et contrôle perceptif des sons de frottement

Afin de synthétiser des sons de frottement, nous allons utiliser le modèle phénoménologique pré-senté dans le paragraphe précédent. Pour contrôler intuitivement ce modèle, nous nous appuyons sur l’approche écologique qui stipule l’existence d’invariants perceptifs structuraux reliés à l’objet et d’invariants transformationnels reliés à l’action. Cette section va présenter le modèle qui va être uti-lisé dans toute la suite de la thèse, ce modèle permet d’intégrer toutes les connaissances théoriques qui ont été présentées dans les sections précédentes. En effet, sa structure répond aux contraintes de l’approche écologique tout en intégrant la possibilité d’être contrôlé par des cinématiques caractéris-tiques des mouvements biologiques.

Le paradigme actionÑ objet

L’approche écologique de la perception a donc proposé que pour reconnaître un événement so-nore nous nous basons principalement sur des informations reliées à l’objet et à l’action. On peut même décrire un son du quotidien, comme le résultat d’une action sur un objet (e.g. frapper une

16. LppdBq “20 log₁₀^´pmes

p_{re f}

¯

, p_{re f} “2.10´5Pa.

42 Etat de l’art & Problématiques

FIGURE1.8 – Cette figure présente la transformée de Gabor et l’amplitude d’un enregistrement de

son de frottement avec le profil de vitesse (traits pointillés) superposé. On voit clairement que le barycentre spectral et l’enveloppe d’amplitude sont reliés aux variations du profil de vitesse.

plaque, frotter une vitre...). Dans le cas d’un son de frottement produit par une personne qui dessine, l’action correspond au mouvement du stylo sur les rugosités de la surface et l’objet correspond aux résonances et surtout de la table en dessous de la feuille excitée par les impacts successifs du stylo sur les rugosités de la feuille. Dans l’optique de synthétiser des sons, ce paradigme est très intéres-sant car il nous fournit tous les éléments de base que notre modèle doit intégrer pour générer un son. Ici, il nous faut donc pouvoir synthétiser l’effet de l’action des impacts de la mine de stylo sur les rugosités et résonances de l’objet. Ce paradigme met donc en évidence l’existence d’un excitateur (la mine du stylo) et d’un résonateur (la feuille et la table) et nous incite naturellement à utiliser un modèle de synthèse source-filtre, particulièrement bien adapté pour notre paradigme.

Un modèle source/filtre

Le paradigme action Ñ objet considère donc que le son est le résultat d’une action sur un ob-jet. Du point de vue acoustique, le son sptq généré par ce type de paradigme peut être vu comme le résultat d’une convolution entre une excitation eptq correspondant à l’action, par une réponse im-pulsionnelle hptq, correspondant à la résonance de l’objet : sptq “ pe ˙ hqptq. Dans le cas des sons d’interaction continues comme les frottements, des méthodes d’analyse/synthèse ont mis en évi-dence que le signal d’excitation eptq correspondait à un bruit dont la composition spectro temporelle varie en fonction de la vitesse du mouvement, et que hptq correspondait à la réponse impusion-nelle de l’objet excité (Lagrange et al., 2010). Du point de vue du signal et d’une implémentation en temps-réel, un modèle source-filtre peut être implémenté en filtrant une excitation eptq par un filtre à réponse impulsionnelle finie dont la réponse impulsionnelle correspond à la réponse réelle hptq de l’objet. Différentes méthodes existent pour décomposer une réponse impulsionnelle comme un banc de filtres à réponses impulsionnelles finies, on peut en particulier mentionner la décomposition en somme de fractions rationnelles.

1.6 Contexte d’étude : analyse par la synthèse de sons de frottement 43

Bruit filtré dilaté ou compressé en fonction de la vitesse

FIGURE1.9 – La surface frottée peut être représentée comme un bruit filtré passe bas ou passe bande

en fonction de ses caractéristiques physiques (principalement sa rugosité). Frotter cette surface à différentes vitesses est équivalent à dilater ou compresser cette bande de bruit en fonction de la vitesse du geste. Cette figure présente un exemple où une surface est représentée par un bruit filtré passe bande dont l’enveloppe spectrale est schématisée sur la droite de la figure (trait plein) et frottée à différentes vitesses (traits pointillés). On voit ainsi dans cette situation que le centre de gravité spectral évolue en fonction de la vitesse. Dans le cas d’un bruit filtré passe-bas, les dilatations et compressions feraient varier principalement le centre de gravité spectral mais également l’étalement spectral en fonction de la vitesse.

mine de stylo sur une feuille posée sur une table. Dans ce cas, la source, correspondant à l’interaction entre la mine et les aspérités de la surface, peut être modélisée par un bruit filtré bas (ou passe-bande) dont la fréquence de coupure (ou centrale) est reliée linéairement à la vitesse tangentielle du geste (voir figure 1.9). Le filtre, correspondant à la résonance de la table sous la feuille, peut être modélisé par un banc de filtres résonnants dont les fréquences centrales et les amortissements sont calibrés en fonction des modes de résonance de la table. Ainsi, on peut synthétiser très simplement un son de frottement juste en connaissant la vitesse tangentielle du mouvement et en connaissant les résonances de la feuille et de la table. La modélisation et le contrôle de ce banc de filtres ont été étudiés au Laboratoire de Mécanique et d’Acoustique dans le cadre d’études menées sur la per-ception auditive des sons d’impacts. Une correspondance entre le matériau perçu et les valeurs des fréquences et des amortissements des filtres résonnants a pu être établie et permet ainsi le contrôle intuitif du matériau. Ces travaux ont déjà été décrits précédemment dans la section 1.2. Dans cette thèse, nous nous intéresserons plus particulièrement à la source correspondant à l’action réalisée sur l’objet, le mouvement du stylo dans le cas des sons de frottement. La génération de cette source va être présentée dans le paragraphe suivant.

Description du signal source

Le signal source correspond à un bruit qui, du point de vue phénoménologique, représente les aspérités de la surface que rencontre la mine du stylo lors du frottement. Des études ont mis en évidence que l’on pouvait modifier la rugosité de la surface évoquée en modifiant la composition spectro-temporelle du bruit. Par exemple, les bruits fractaux18modélisaient bien les différentes ru-gosité de la surface. Par ailleurs des études récentes ont mis en évidence que l’on pouvait même contrôler la nature de l’interaction, par exemple est-ce que l’objet frotte, roule ou gratte, et cela en modifiant la structure interne du bruit de façon plus subtile.

En effet, Conan et al. (2014a) ont montré qu’en contrôlant judicieusement la corrélation entre l’amplitude et l’espacement temporel entre les impacts simulant les aspérités de la surface du réso-nateur on pouvait évoquer différents types d’interaction19. Nous ne présenterons pas ces études et

18. Dont l’amplitude du spectre Spωq varie de façon inversement proportionnelle à la fréquence : Spωq “ _ω¹β.

19. Ces résultats sont très intéressants car ils montrent pour la première fois l’importance de la structure interne du bruit dans la perception des interactions continues. Ils ont donc des implications aussi bien dans la modélisation des

44 Etat de l’art & Problématiques nous référons ici aux travaux de thèse de Simon Conan (2014). Dans les études présentées dans la suite, on utilisera des bruits blancs évoquant des bruits de frottements, la statistique des impacts sera donc gaussienne et aucune corrélation temporelle ne sera utilisée pour évoquer des interactions plus spécifiques comme les roulements.

Contrôles perceptifs : mapping entre les paramètres haut-niveau et les paramètres du modèle de synthèse

Afin de relier les paramètres de contrôle haut-niveau comme le type d’interaction (voir figure 1.10), la cinématique du geste ou encore les paramètres de l’objet, aux paramètres bas-niveau du modèle de synthèse, il est nécessaire de faire un mapping entre les différentes valeurs de ces pa-ramètres aux différents contrôles sémantiques (voir figure 1.10). Pour le type d’intéraction, dans le cadre d’une collaboration avec Simon Conan et al. (2012, 2013, 2014b), nous avons proposé une stratégie de contrôle intuitive basée sur une description sémantique de l’interaction : frottement, grattement, ou roulement. Cette stratégie permet en particulier de réaliser des morphings perceptifs continûment entre ces différentes interactions en modifiant la statistique des impacts (i.e. amplitudes et intervalles temporels entre les impacts). Dans le cas de l’objet, un mapping entre les valeurs des fréquences et des amortissements du banc de filtres résonnants et les descripteurs sémantiques reliés au matériau, à la géométrie et à la taille de l’objet a été réalisé par Aramaki et al. (2011).

Dans le cas de la cinématique du geste, on a vu que pour contrôler la vitesse de la mine du stylo, le bruit source est filtré soit par un filtre passe-bas soit passe-bande dont la fréquence de coupure ou centrale est reliée à la vitesse tangentielle de l’objet frottant. Le mapping entre la vitesse tangentielle du mouvement et la fréquence de coupure (ou centrale) fcdu filtre passe-bas (-bande) est définie par un coefficient α reliant linéairement ces deux grandeurs au cours du temps : f_{cptq “ αvtptq. Du point} de vue acoustique, augmenter le mapping provoque une augmentation du barycentre spectral du son de frottement. Par ailleurs, ce coefficient rend compte de deux phénomènes physiques : d’une part la rugosité de la surface, mais également de la vitesse relative entre les deux objets en contact, ici entre la mine du stylo et les aspérités de la feuille de papier. Du point de vue perceptif, une modification de ce paramètre peut donc être perçue de deux façons, soit comme une modification de la vitesse moyenne, soit comme une modification de la rugosité de la surface. Dans les expériences présentées dans cette thèse, le mapping sera fixé arbitrairement.

Finalement, cette modélisation du frottement permet de ne contrôler la synthèse du son en ne manipulant que la vitesse tangentielle de la mine du stylo. Cela est très intéressant pour générer des stimuli parfaitement contrôlés dans l’optique d’évaluer l’influence de la cinématique sur la percep-tion des sons de frottement. Nous avons désormais présenté toutes les caractéristiques du modèle nécessaire pour synthétiser des sons de frottement. Ce modèle se base donc sur un paradigme per-ceptif, le paradigme action Ñ objet, proche de la façon dont nous analysons des sons de frottement. Finalement, pour pouvoir complètement aborder le problème des relations entre sons et gestes avec ce modèle, il ne reste plus qu’à le contrôler avec des cinématiques correspondant à des cinématiques de geste.

Modèle de geste

C’est donc ici qu’interviennent les connaissances relevant des sciences du mouvement nécessaires pour l’investigation du geste perçu à travers un son de frottement. Le modèle de synthèse que l’on

phénomènes physiques de roulement, que dans la compréhension de la façon dont le système perceptif extrait les statis-tiques temporelles d’un signal. Ce dernier point étant un sujet très étudié actuellement (McDermott et Simoncelli, 2011; McDermott et al., 2013; Nelken et de Cheveigné, 2013).

1.6 Contexte d’étude : analyse par la synthèse de sons de frottement 45

(A) Modélisation phénoménologique du frottement

Résonateur Série d'impacts

vt

(B) Synthèse et contrôle de sons d'interactions continues

Contrôle haut-niveau Contrôle bas-niveau Modèle de synthèse

Bruit ^{Banc de filtres} résonnants Att(dB) f(Hz) fc fc Att(dB) f(Hz) Att(dB) f(Hz) Dynamique du mouvement Passe-bas Passe-bande Type d'interaction

(frotter, gratter, rouler)

Modèle de geste

(cinématique)

Caractéristiques de l'objet

(matériau, taille, géométrie)

Statistique

des impacts Fréquence de coupure Fréquence centrale Amplitudes Fréquences Amortissements Mapping Source Filtre Action Objet

FIGURE1.10 – Modélisation phénoménologique (Panel A) et modèle de synthèse de sons de

frotte-ment s’appuyant sur le paradigme action Ñ objet (Panel B) - Ce schéma présente clairefrotte-ment les diffé-rents niveaux de contrôle et d’implémentation du modèle de synthèse. Il est notable que la structure même de ce modèle intègre la façon dont nous percevons les sons et de plus permet le contrôle par des cinématiques biologiques de façon très simple.

46 Etat de l’art & Problématiques vient de présenter permet en effet de générer des sons de frottement en contrôlant tout d’abord les propriétés de l’objet (matériau et taille), en contrôlant la nature de l’interaction (frotter, gratter ou rouler) mais surtout en contrôlant la cinématique d’un geste. Dans cette thèse deux modèles seront principalement utilisés pour générer des profils de vitesse correspondant à des mouvements biologiques.

Tout d’abord en considérant la loi en puissance 1/3 (présentée en section 1.3.1), et plus géné-ralement la relation de puissance β entre vitesse et courbure v_{tpsq “ KCpsq}´β (où s est l’abscisse curviligne, et K le gain de vitesse), il est possible de générer un profil de vitesse à partir d’une forme donnée. A partir d’une forme, on peut donc calculer sa courbure, puis, en définissant la valeur de l’exposant on peut générer des sons de frottement correspondant à une cinématique donnée (corres-pondant à un mouvement biologique dans le cas où β “ 1{3). Ce modèle de geste sera utilisé dans le chapitre 2 pour étudier la reconnaissance auditive de la loi en puissance 1/3.

Le second modèle de geste utilisé a été présenté dans la section 1.3.2 et correspond à la modé-lisation des mouvements graphiques en terme d’oscillateurs harmoniques couplés. Ce modèle est particulièrement intéressant pour générer des mouvements elliptiques et contrôler la géométrie du mouvement par un seul paramètre, la phase relative entre les deux oscillateurs. Quand la phase est nulle, la géométrie correspond à un trait et, quand la phase est égale à 90 degrés, le mouvement est circulaire, toutes les phases relatives comprises entre 0 et 90 degrés correspondent à des ellipses plus ou moins aplaties. Du point de vue cinématique, ce modèle est également très intéressant car le mouvement respecte la loi en puissance 1/3 (une démonstration est proposée en annexe 7.1). Ce modèle sera utilisé dans le chapitre 3 pour évaluer l’existence de prototype géométrique sonore cor-respondant à des formes elliptiques. Il sera également utilisé dans le chapitre 4 pour générer des mouvements visuels et des sons de frottement correspondant à des mouvements circulaires ou ellip-tiques.

Synthèse

Cette section a donc présenté le paradigme, et plus généralement le contexte, d’étude des rela-tions entre gestes et sons qui sera utilisé dans cette thèse. Ce paradigme d’étude, basé sur l’analyse par la synthèse, met ainsi en évidence l’aspect pluridisciplinaire de ces travaux en intégrant à la fois des connaissances perceptives et des connaissances sur la production des mouvements biologiques dans le contexte de la création des sons. Les notions principales à retenir sont les suivantes :

1. le paradigme action Ñ objet permet de synthétiser des sons de frottement en découplant les invariants transformationnels reliés au geste des invariants structuraux reliés à l’objet et permet ainsi de générer de stimuli appauvris permettant de comprendre quelles sont les informations pertinentes dans la perception d’un son de frottement ;

2. la flexibilité des modèles source-filtre permet également d’envisager une utilisation en temps-réel des ces outils de synthèse et ainsi de manipuler les caractéristiques du son par des infor-mations dynamiques variant au cours du temps.