HAL Id: tel-00469460
https://tel.archives-ouvertes.fr/tel-00469460
Submitted on 1 Apr 2010
HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.
L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.
Approches visuelles pour l’amélioration de la présence en réalité virtuelle
François De Sorbier de Pougnadoresse
To cite this version:
François De Sorbier de Pougnadoresse. Approches visuelles pour l’amélioration de la présence en réalité
virtuelle. Autre [cs.OH]. Université Paris-Est, 2008. Français. �NNT : 2008PEST0205�. �tel-00469460�
THÈSE
pour obtenir le grade de
Doteur de l'Université Paris-Est
Spéialité : Informatique
Présentée et soutenue publiquement par
François de Sorbier de Pougnadoresse
le 27 novembre 2008
APPROCHES VISUELLES POUR
L'AMÉLIORATION DE LA PRÉSENCE EN
RÉALITÉ VIRTUELLE
VISUAL APPROACHES TO INCREASE PRESENCE
IN VIRTUAL REALITY
Direteur de Thèse
Gilles Bertrand
Jury
Rapporteurs : Jean-Pierre Jessel Professeur à l'universitéde Toulouse
Yannik Remion Professeur à l'universitéde Reims
Examinateurs : GillesBertrand Professeur à Université Paris-Est, ESIEE, IGM
GuillaumeMoreau Maître de onférene à l'Éole Centrale Nantes
Anatole Léuyer Cherheur àl'INRIA Rennes
Veneslas Biri Maître de onférene à l'Université Paris-Est
à mes s÷urs,
Je voudrais tout d'abord adresser mes remeriements à Jean-Pierre Jessel, Yannik
Remion,GuillaumeMoreauetAnatoleLéuyerpouravoiraepté de fairepartiede mon
jury de thèse.
Jeremerie toutpartiulièrementGillesBertrandquim'a aueillidansson équipeet
aaepté de devenir mon direteur de thèse au ours de mon dotorat. J'ai pu, de ette
manière,ontinuer sereinement mes travaux de reherhe.
Je voudrais également adresser ma gratitude à Didier Arquès et Benoît Piranda qui
m'ont oert la possibilité de ommener une thèse au sein de l'équipe mais également
pour m'avoirfait appréier l'enseignementave l'éoled'ingénieur IMAC.
Mesplusvifs remeriementsvontàVeneslas Biriqui,pendanttouteses années, m'a
enouragé,soutenuetatoujours étéde très bononseil.Meri pour touteette onane
quetu aseue en moi.
J'adresse aussi un très grand meri à toutes les personnes que j'ai pu toyer durant
es quatre annéeset qui m'ont toujours oert leur sympathie,leur bonnehumeuret leur
soutien.MesremeriementsvontpluspartiulièrementàVinentNozik,PatrieBouvier,
Pasal Chaudeyra,OlivierDerpierre,CyrilPihard, Ismaël Daribo,BenjaminRaynalet
lesétudiants IMAC de lapromo 2004-2007 ave lesquels j'ai passé des momentsinoubli-
ables.
Enn, je voudrais remerier ma famille pour tout le soutient qu'elle m'a apporté et
tout e qu'elle a pu faire pour moi.
Mots-lés:réalité virtuelle, présene, immersionvisuelle, stéréosopie,ou, avatar
Lesentimentde présene, but ultimede laréalité virtuelle,peut êtreatteinten stim-
ulant es quatre piliers que sont l'immersion, l'interation, le maintien de la boule
ation-pereption et les émotions. Notre objetif est de proposer des méthodes visant à
améliorere sentiment en s'intéressant plus partiulièrement àla pereption visuelle.
Dans ette optique, nous proposons tout d'abord une solution appliquant le rendu
stéréosopiquesurartegraphique.Traditionnellementeetuéendeuxpasses,erenduse
faitmaintenantenunepasse,grâeauxshaders etauregroupementdeertainesphasesde
aluls.Nousétendonse proessusde renduauxtoutréentséransauto-stéréosopiques
néessitant plus de deux vues, améliorantd'autant plusles tempsde alul. Pour assurer
l'immersion et l'interation, voire l'émotion, nous avons aussi herhé à diminuer la fa-
tigue oulaire induite par les images stéréosopiques, en ajoutant un ou de profondeur
de hamp. Ce ou, obtenu en temps réel grâe aux shaders, permet également d'inviter
l'observateur à foaliser son attention sur des objets préis au lieu de laisser son regard
errer.
Enn,unobjetifpourobtenirlesentimentdepréseneestdefaireroireàl'utilisateur
qu'ilexiste dans lasène virtuelle. Notre ontributionàe but, est d'intégrerde manière
naturelle une représentation virtuelle de l'utilisateur. Pour ela, nous réons par visual
hulls un avatar à l'aide de améras. Finalement, et avatar est employé pour illustrer la
présenedel'utilisateurautraversdesurfaesrééhissantes virtuellesoudelaprojetion
de son ombre.
Keywords: virtual reality,presene, visual immersion, stereosopy, blur, avatar
The feeling of presene is the ultimate goal of a virtual reality system. It an be
ahieved by stimulating its four pillars that are immersion, interation, onsisteny of
the ation-pereption loop and emotions. Our objetive is submit methods whih ould
inrease this feeling of presene. We willespeiallyfous onvisual pereption.
First, we present a solution applying the stereosopi rendering on GPU. Using the
latest shaders extensions, we join the traditional two passes to a single that redue re-
dundantomputation.Our methodan alsobe appliedonreent autosteresopi sreens
whih need about ten dierent view points. The seond ontribution refers to eyestrain
aused when a user wathes stereosopi images during a long time. We propose to use
the graphi ards to render, in real time, a blur on problemati areas thus the user will
fous onthe others.We alsouse blur topointout some objets of the virtual sene that
weonsiderate as important and avoidto letuser's eye wander.
Finally,weproposeamethodtoinrease thepreseneofthe userintothe virtualenvi-
ronment.An avatar,based onimagestakenfromseveral amerasandvisualhullmethod,
isrst build. Ina seondstage, the avatar is integrated intothe virtual sene soit seems
natural tothe user. Thus we use reetive surfaes like mirrorsor virtual lights intera-
tions like shadows.
Table des gures xv
Introdution 1
Partie I Réalité virtuelle
Chapitre 1 Dénition de la réalité virtuelle 5
1.1 Origines du terme. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.2 Réalité virtuelle :dénition . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 Finalitéde laréalité virtuelle . . . . . . . . . . . . . . . . . . . . . . . 7
Chapitre 2 Domaines de reherhe assoiés à la réalité virtuelle 9 2.1 L'image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
2.2 Le son . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.3 L'életronique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
2.4 L'intelligene artiielle . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.5 Le réseau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.6 Les sienes ognitives . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2.7 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
Chapitre 3 État de l'art de la réalité virtuelle 13 3.1 Historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
3.2 Les interfaes visuelles de réalité virtuelle. . . . . . . . . . . . . . . . . 16
3.2.1 Les interfaes visuelles . . . . . . . . . . . . . . . . . . . . . . . 16
3.2.2 Les proédés de restitution stéréosopiques . . . . . . . . . . . . 19
Chapitre 4 Domaines d'appliation de la réalité virtuelle 27
4.1 Lasimulation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
4.2 Lesativités ludiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
4.3 Lesativités artistiqueset ulturelles . . . . . . . . . . . . . . . . . . . 29
4.4 Ledomainemédial . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Partie II Outils d'aide àla pereption visuelle enréalitévirtuelle Chapitre 1 Dénition du besoin 33 1.1 Objetifs de l'immersion visuelle . . . . . . . . . . . . . . . . . . . . . 33
1.2 Contexte d'appliation . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Chapitre 2 Stéréosopie et aélération graphique 37 2.1 Lapereption du relief . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2 Images stéréosopiques : État de l'art . . . . . . . . . . . . . . . . . . . 41
2.3 Notre nouvelleméthode . . . . . . . . . . . . . . . . . . . . . . . . . . 43
2.3.1 Dupliationsur GPU . . . . . . . . . . . . . . . . . . . . . . . 43
2.3.2 Rendu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
2.4 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.5 Appliationàl'autostéréosopie . . . . . . . . . . . . . . . . . . . . . . 51
2.5.1 Etat de l'art. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
2.5.2 Algorithmede rendu . . . . . . . . . . . . . . . . . . . . . . . . 55
2.5.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Chapitre 3 Aide à la visualisation stéréosopique 61 3.1 Objetifs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.2 État de l'art . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
3.2.1 Simulationde ou non temps réel . . . . . . . . . . . . . . . . . 66
3.2.2 Simulationde ou tempsréel . . . . . . . . . . . . . . . . . . . 71
3.2.3 Appliations en réalité virtuelle . . . . . . . . . . . . . . . . . . 75
3.3 Simulationde ou sur imagesstéréosopiques pour laréalité virtuelle . 77 3.4 Emploidu ou en réalité virtuelle . . . . . . . . . . . . . . . . . . . . . 81
3.4.1 Positionnement automatique. . . . . . . . . . . . . . . . . . . . 82
3.4.3 Positionnementsripté . . . . . . . . . . . . . . . . . . . . . . . 85
Partie III Présene de soi dans l'environnement virtuel Chapitre 1 Se perevoir en réalité virtuelle 91 1.1 Dénition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
1.2 Avatar etréalité virtuelle. . . . . . . . . . . . . . . . . . . . . . . . . . 91
1.3 Notre pointde vuesur lapereptionde soidans le virtuel . . . . . . . 92
Chapitre 2 Création d'un avatar : État de l'art 95 2.1 Calibrage des améras . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
2.1.1 La améraprojetive . . . . . . . . . . . . . . . . . . . . . . . . 95
2.1.2 Calibrage par laméthode de Zhang . . . . . . . . . . . . . . . . 97
2.1.3 Calibrage multi-améras . . . . . . . . . . . . . . . . . . . . . . 99
2.1.4 Corretion de ladistortionradiale. . . . . . . . . . . . . . . . . 101
2.2 La méthode plane sweep . . . . . . . . . . . . . . . . . . . . . . . . . . 102
2.3 Reonstrution par lumièrestruturée . . . . . . . . . . . . . . . . . . 106
2.4 Animationsquelettique . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
2.5 Les Visual hulls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
2.5.1 Volumetri visual hulls . . . . . . . . . . . . . . . . . . . . . . . 110
2.5.2 Polyhedral visualhulls . . . . . . . . . . . . . . . . . . . . . . . 113
2.5.3 Image based visualhulls . . . . . . . . . . . . . . . . . . . . . . 116
2.5.4 Photo hulls . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
2.6 Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
Chapitre 3 Présene : Notre ontribution 121 3.1 Création d'un avatar par la méthode des visualhulls . . . . . . . . . . 121
3.1.1 Estimationdes silhouettes . . . . . . . . . . . . . . . . . . . . . 121
3.1.2 Reonstrution du modèle virtuel . . . . . . . . . . . . . . . . . 124
3.1.3 Le rendu du visual hull . . . . . . . . . . . . . . . . . . . . . . 126
3.2 Exploitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
3.2.1 Pereption via lesreets . . . . . . . . . . . . . . . . . . . . . . 130
3.2.2 Exploitation de l'élairage virtuel . . . . . . . . . . . . . . . . . 136
3.2.3 Autres possibilités . . . . . . . . . . . . . . . . . . . . . . . . . 138
3.3 Résultats . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
3.3.1 Evaluationdu sentiment de présene . . . . . . . . . . . . . . . 139
3.3.2 Propositionet Disussion . . . . . . . . . . . . . . . . . . . . . 140
Conlusion 143 Bibliographie 147 Annexes 163 Annexe A Prinipales interfaes de réalité virtuelle 163 A.1 Laapture de position etde mouvement . . . . . . . . . . . . . . . . . 163
A.1.1 Laapture optique . . . . . . . . . . . . . . . . . . . . . . . . . 163
A.1.2 Laapture életromagnétique . . . . . . . . . . . . . . . . . . . 164
A.1.3 Laapture aoustique . . . . . . . . . . . . . . . . . . . . . . . 165
A.1.4 Laapture méanique . . . . . . . . . . . . . . . . . . . . . . . 165
A.1.5 LesBCI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
A.2 Lesinterfaes haptiques . . . . . . . . . . . . . . . . . . . . . . . . . . 167
A.2.1 Leretour d'eort . . . . . . . . . . . . . . . . . . . . . . . . . . 167
A.2.2 Leretour tatile . . . . . . . . . . . . . . . . . . . . . . . . . . 168
A.2.3 Lessimulateurs de mouvement . . . . . . . . . . . . . . . . . . 169
A.2.4 Lepseudo-haptique . . . . . . . . . . . . . . . . . . . . . . . . . 171
A.3 Lesautres interfaes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
A.3.1 Lesinterfaes sonores. . . . . . . . . . . . . . . . . . . . . . . . 171
A.3.2 Lesinterfaes olfatives . . . . . . . . . . . . . . . . . . . . . . 172
Annexe B Création d'une image stéréosopique ave OpenGL 173 B.1 Leplan de onvergene . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
B.2 Laméthode toe-in . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
B.3 Laméthode o axis . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Annexe C Les shaders 179 C.1 Leproessus de restitution d'OpenGL. . . . . . . . . . . . . . . . . . . 179
C.2 Leproesseur graphique(GPU) . . . . . . . . . . . . . . . . . . . . . . 180
C.2.1 Prinipe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
C.2.2 Lesdiérents langages . . . . . . . . . . . . . . . . . . . . . . . 181
