Reseau de Neurones Convolutionnels pour la Reconnaissance Faciale Infrarouge

(1)

HAL Id: hal-00812603

https://hal.archives-ouvertes.fr/hal-00812603

Submitted on 12 Apr 2013

HAL is a multi-disciplinary open access archive for the deposit and dissemination of sci- entific research documents, whether they are pub- lished or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est destinée au dépôt et à la diffusion de documents scientifiques de niveau recherche, publiés ou non, émanant des établissements d’enseignement et de recherche français ou étrangers, des laboratoires publics ou privés.

Reseau de Neurones Convolutionnels pour la Reconnaissance Faciale Infrarouge

Pierre Buyssens, Marinette Revenu, Olivier Lepetit

To cite this version:

Pierre Buyssens, Marinette Revenu, Olivier Lepetit. Reseau de Neurones Convolutionnels pour la

Reconnaissance Faciale Infrarouge. GRETSI’09, Sep 2009, Dijon, France. 4 p. �hal-00812603�

(2)

Faiale Infrarouge

Pierre Buyssens 1,2

,MarinetteRevenu 1

,OlivierLepetit 2

1

LaboratoireGREYC-CNRS UMR6072-Caen-Frane

2

OrangeLabs-42RuedesCoutures-Caen-Frane

pierre.buyssensorange-ftgroup.om,

marinette.revenugrey.ensiaen.fr,

olivier.lepetitorange-ftgroup.om

RésuméNous présentonsunetehniquedereonnaissanefaialepourlamodalitéinfrarougebaséesurun typepartiulier

deréseauxdeneuronesonvolutionnels. Leréseauaétéentraîné pourextrairedesaratéristiques faialesd'images devisages

infrarouges et les projeter sur un espae de faible dimension à des ns de omparaison. Nous montrons expérimentalement

que notre approhe obtient de bons résultats sur des individus nouveaux et inonnus (i.e. n'ayant pas été utilisés lors de

l'apprentissage).

Abstrat We present a fae reognition tehnique in infrared modality based on a speial type of onvolutional neural

network. The networkwas trained to extrat faialfeatures from infrared faes automatially and to projet them ina new

lowdimensionalspae. Thefaesarethenomparedinthisnewspae. Weshowexperimentallythatourapproahobtainsgood

resultsonnewandunseen subjets(i.e. subjetsthathavenotbeenseenduringthetrainingphase.)

1 Introdution

Lareonnaissanedespersonnesàl'aidededonnéesbiomé-

triquesestunsujetdontl'intérêtn'estplusàdémontrer:

biométrie,vidéosurveillane,IHMavanéesouenorein-

dexationd'images/vidéos.Denombreuxtypesdedonnées

biométriques font l'objet d'études, parmi elles la reon-

naissanefaialeprésentedenombreuxintérêts: méthode

dereonnaissaneuniverselle,sansontat,voiremêmeà

l'insudela population. Cependant,elleseheurteenore

à de nombreux problèmes, dont le plus aratéristique

est lié aux hangements d'illumination. Une possibilité

pour palliere problème est l'utilisationd'autresmodal-

ités,tellesquel'infrarougequin'estpassujetauxhange-

mentsd'illumination. L'infrarougepermet enoutre àun

systèmebiométriquedefontionner,mêmelorsquelaap-

turedansledomainevisibleestimpossibleoudemauvaise

qualité,lorsd'uneapturenoturneparexemple.

Leapteur infrarougeutilisé ii fontionnedans ledo-

mainedesfaibleslongueursd'ondes,rendantainsiunear-

tographiethermiquedesvisages.

1.1 Approhes existantes

Laplupartdestravauxréalisésdansledomainedelare-

onnaissanefaiale infrarouge reprennent les approhes

l'Analyse enComposantesPrinipales (ACP) est utilisée

par Flynn et al. dans [3℄, ou par Jung et al. dans [7℄

onjointement ave une analyse des ontours du visage.

Uneautretehniquelassiqueestl'AnalyseDisriminante

Linéaire(LDA)oùl'espaedesvisagesestdiviséenlasses

selonleritèredeFisher(i.e. minimiserlavarianeintra

lasse et maximiser la variane interlasse). Elle a par

exempleété utiliséeparSoolinskyet al. dans [10℄. Une

AnalyseenCosinusDisretsest égalementtestéeparWu

et al. dans[11℄. Huangetal. [5℄proposentuneméthode

utilisant l'algorithmeAdaboost pourla séletiond'onde-

lettes de Gabor pertinentes, une LDA les lassianten-

suite. D'autres méthodes, en ours de réalisation, sont

exlusives à la modalité infrarouge, omme les travaux

publiésparAkhlouetal. dans[2℄oùdesaratéristiques

physiologiquessontextraites duvisageinfrarouge viales

réseauxveineuxsouslasurfaedelapeau.

Un desprinipauxproblèmesdees approhesestqu'-

elles se basent souvent sur des approhes linéaires (f.

ACP,LDA).Cependant,ommelefaitlaluminositédans

ledomainevisible,latempératuremodielaartographie

thermique des visagesde façon non linéaire, e qui rend

esméthodesnonrobustes.

Des extensions de es approhes linéaires ont été pro-

posées omme l'Analyse en Composantes Prinipales à

noyaux(kernelPCA) [9℄,oul'Analyse Disriminante Li-

néaire ànoyaux(kernelLDA)[6℄pourlareonnaissane

(3)

faiale. Ledéfautdeesméthodesestqu'ellesn'orentpas

d'invariane à ertaines transformations sauf si ellesi

sontprisesenomptedanslenoyau,equiinduituneon-

strutiondu noyauàla main. C'est égalementle défaut

d'autresméthodesd'apprentissageommelesMahinesà

SupportdeVeteurs(SVM).

1.2 Notre approhe

Nousproposons une approhepourlareonnaissane fa-

iale dans le domaine infrarouge basée sur un type de

réseau de neurones onvolutionnels, approhe que nous

avonsdéjàappliquéedansledomainevisible.

Le réseau de neurones onvolutionnels utilisé ii, ap-

pelé réseau de reonstrution, réalise une projetion non

linéairedu visageprésenté en entrée sur un sousespae

puisreonstruitunvisagederéférenehoisiaupréalable.

Cetteapprohe,inspiréedestravauxdeDuneretGaria

[4℄ peut être vue omme une ACP non linéaire, dans le

sensoùunvisageest reonstruitgrâe àunensemble de

veteursdereonstrution.

Lesréseauxdeneuronesonvolutionnelsorentl'avan-

taged'apprendreautomatiquementl'extrationdesara-

téristiquesdans les premièresouhes, puisde les lassi-

erdans les dernières. Ainsi, auun hoix d'algorithmes

d'extrationn'est eetué. Ils sont de plus onçus pour

êtreplusrobustes auxhangementsdeposeainsi qu'aux

hangements thermiques des zones d'un visage liés aux

onditionsextérieures(ommelatempérature),étantdon-

néesleursfontionsd'ativationnonlinéaires.

2 Arhiteture du réseau

Leréseaudereonstrutionprenduneimagedetaille

56×

46

ênêntréeêt^la^passe^à^traversûne^suession^deôuhes

deonvolution

C

i^, ^desouséhantillonnage

S

i ^et ^de ^neu-

ronesomplètementonnetés

F

i^. ^Chaque^ouhe^alule

sonopérationspéique(onvolution,souséhantillonnage)

avesonveteurdepoids,ajouteunbiaispuispasseleré-

sultatdansunefontiond'ativation

Φ

^de^la^forme^:

Φ(x) = 1.7159 × tanh( 2

3 x)

⁽¹⁾

Cettefontionprésentelespartiularitéssuivaintes:

Φ(1) = 1

^,

Φ(−1) = −1

êt^sa^dérivée^seondeâtteintûn^maximum

en

1

êt ûn^minimum ên

−1

^, ê ^qui âssure ûne ^meilleure

onvergenelorsdelaphased'apprentissage. Lasortiedu

réseauest uneimage,demême taillequel'entrée,quiest

reonstruiteparladernièreouhe

F

7^. L'arhiteturein- terneduréseau(voirFig.1),aétéinspiréeparlestravaux

deLeun etal. [8℄,et adaptéeànotreproblème.

Pluspréisément:

• C

1^. ^Nombre^de^artes^:

15

^;^Taille^des^noyaux^:

7×7

^;

Taille des artes:

50 × 40

^. ^Toutes ^les ^artes ^sont

onnetéesàl'entrée.

• S

15

^;^T^aille^des^noyaux^:

2 ×2

^;

Tailledesartes:

25 × 20

^. ^Connexions

1 − 1

^.

• C

³^. ^Nombre^de^artes^:

45 6 ×6

^;

Taille des artes :

20 × 15

^. ^Connexions ^partielles

pourasserlasymétrie.

• S

45 4 ×3

^;

Tailledesartes:

5 × 5

^. ^Connexions

1 − 1

^.

• C

⁵^. ^Nombre ^de ^artes ^:

250

^; ^Taille ^des ^noyaux ^:

5×5

^;^Taille^des^artes^:

1 ×1

^. ^Couheomplètement onnetéeà

S

⁴^.

• F

100

^;^Couheomplètement onnetéeà

C

5^.

• F

⁷^. ^Nombre^de^artes^:

2576

^;^Couheomplètement onnetéeà

F

⁶^.

Notonsquelorsdestests,en'estpasl'étatdeladernière

ouhequiestpriseenomptemaisl'avantdernière(ouhe

F

⁶^,^soit^un^veteur^de^dimension

100

^).

Cettearhitetureadéjàététestéesurlabasevisiblede

visagesORL/AT&T [1℄qui ontient

10

^images^pour^ha-

unedes

40

^personnes ^de^la^base. ^Cette^base ^de^données

ontientdesvariationsdeluminositésetdeposes(i.e. ro-

tations horsplan). Destests sur

50

^images^de ^personnes

inonnues(n'ayantpasétéutiliséeslorsdel'apprentissage)

sontprésentésautableau1.

Rang

Réseaude

ACP

Reonstrution

0 38 29

1 45 33

2 45 38

3 47 40

4 47 42

5 49 44

6 50 44

Table1:Correspondanesumuléessurdesvisagesinon-

nus delabaseORL/AT&T

Letableau1présentelesrésultatsobtenusparleréseau

pourles

50

^images ^de^tests ^de^personnes^inonnues^fon-

tionnanten identiation. Pour une image test

I

p ^de ^la

personne

p

^,^sa^projetion

G

I ^(le^veteur^alulé^à^la^ouhe

F

6⁾^est ^omparé^à^haun ^des

40

^modèles^de ^la^base. ^Le

modèle pour une personne

q

êst âlulé ômme ^étant ^le

veteurmoyendesprojetionsdesimagesde lapersonne

q

^. ^Cependant, ^pour ^le ^alul ^du^modèle ^d'une ^personne

dontuneimage

I

p^est^testée,^l'image

I

p ^n'est^pas^prise^en

ompte. Ilestainsinéessairelorsdehaquetestd'uneim-

age

I

p^de^realuler^le^modèle^de^la^personne

p

^. ^La^norme

L

1 êstênsuiteûtilisée^pourâluler^les^distanes ^du^pro-

jeté

G

I ^de^l'image^test

I

p^aux^modèles. ^Les^distanes^sont

(4)

ensuiterangées parordre roissant, et la distane orre-

spondantaumodèle

p

^détermine^le^rang^auquel^l'image

I

p

esttrouvée. Siils'agitdelaplusfaible,lerangvaut

0

^,^si

ils'agitdeladeuxièmeplusfaiblealorslerangvaut

1

^et.

Letableau1montrequelaméthodeutilisantunréseau

dereonstrutiondevisagessurpasselaméthodelassique

des visages propres (ACP). La dernière orrespondane

pourlaméthode desvisagespropres(ACP)s'eetue au

rang

23

^.

3 Apprentissage

Dans notre étudesur la modalité infrarouge, la base de

référeneNotreDame[3℄estutiliséepourl'apprentissage

ainsique pour lestests. Cellei présente des variations

deposes,d'expressionsfaialesainsiqueparfoisdefortes

variations de la distribution thermique des visages, er-

taines personnes de la base ayant en eet été apturées

plusieurs fois ave un laps de temps entre les aptures

parfoisimportant(voirletableau2pourunéhantillonde

visagesdelabase). Nousnoussommeslimitésàunsous

ensemblede elleiontenant

870

^imagesinfrarouges de

26

^personnes ^diérentes, ^ave ^une ^grande ^variation ^du

nombre d'imagesdisponibles par personne, allantde

4

^à

40

^. ^Les^images ^présentent^de^plus^des^variations^de ^pose

ainsiquedeshangementsdehaleurpourertainespar-

tiesduvisage(typiquementlesoreillesoulenez).

Lesimages ont étéentrées manuellementparrapport

aux yeux de sorte que tous les visages aient leurs yeux

approximativementaumême endroitdans l'image. Elles

ont été réduites à une taille de

56 × 46

^(la ^taille ^de ^la

rétineduréseau). Lesvaleursdesimagesontéténormal-

isées de sorte que leur moyenne soit approximativement

de

0

^et ^leur^variane^de

1

^,êi^pourâssurerûne^meilleure

onvergenelorsdel'apprentissage.

3.1 Partitionnement de la base

Labasededonnéesaétédiviséeendeuxpartiesdisjointes

SET1et SET2. SET1ontient lesimages de

20

^person-

nes(totalisant

736

^images),^tandis^que^SET2^ontient^les

Table 2: Ehantillons d'images de deux personnes dif-

férentes(uneparligne)delabasededonnées.

imagesrestantes(

134

^images^de

6

personnes).

L'apprentissage a été réalisé ave SET1, et SET2 a

été utilisé pour lestests. En partitionnant la base de la

sorte, on peut ainsi tester la apaité de généralisation

du réseauàdes individus n'ayant pasété utiliséslorsde

l'apprentissage.

3.2 Phase d'apprentissage

Pourhaqueindividu

i

^de^SET1,^une^image^de^référene

r

i

aétéhoisiepourl'apprentissage. Ellereprésentel'image

queleréseauvareonstruireàhaquefoisqueseraprésen-

téeuneimagedel'individu

i

^. ^Cette^image^de^référene^est

l'imagede

i

^qui ^est^la^plus^prohe^de^la^moyenne^des^im-

agesde

i

^,âinsi êlleêst sémantiquementlaplusreprésen- tativedel'individu

i

^.

Une image diérente de l'imagede référenea ensuite

étéextraitedeSET1pourhaqueindividu,andeformer

l'ensembledevalidation.

L'ensemble d'apprentissage est nalement omposé de

716

^images ^(inluant ^les

20

^images ^de ^référene), ^tandis

que l'ensemble de validation est omposé de

20

^images

(uneparindividudeSET1).

L'apprentissageest réaliségrâeàunedesentedegra-

dientsurlafontionlassiquedeoût:

E = 1

2 k o

_p

− t

_p

k

² ⁽²⁾

où

o

_p et

t

_p sontlesvaleursde lasortie(

o utput

⁾^et ^de^la

(5)

ible(

t arget

⁾respetivementpourunvisage

p

^. ^Minimiser

ettefontiondeoûtrevientàforerleréseauàappren-

dreonjointementlesveteursdereonstrution(poidsde

ladernièreouhe)ainsiqu'uneprojetioninvarianteaux

transformationsde labase d'apprentissage(ouhes

C

¹ ^à

C

⁵^).

Unephasedevalidationestréaliséeaprèshaqueitéra-

tion lors de l'apprentissage sur l'ensemble de validation

préédemment réé. Cette phasea pourbut d'éviterun

surapprentissage,et assure ainsiune meilleure générali-

sationduréseau.

4 Protoole de test et résultats

Pour tester notre réseau, nous utilisons le protoole de

testsuivant: Pouruneimagetest

I

t^de^SET2,^ellei^est

présentée en entrée duréseau et le résultat

G

W

(I

t

)

^(i.e.

leveteurde aratéristiquesextraitde

F

6⁾ ^est ^omparé

àhaun des

26

^modèles

m

p ^de ^la ^base. ^Le ^modèle

m

p

del'individu

p

êst âluléômme^étant^le^veteur^moyen

desprojetésdesimagesdel'individu

p

^. ^Si^le^modèle^orre-

spondantà

I

t^est^le^modèle^le^plus^prohe^de

G

W

(I

t

)

^,^alors

I

t ^est ^trouvée ^au^rang

0

^. ^Si ^'est ^le ^deuxième ^modèle ^le

plusprohe,alors

I

t^est^trouvée^au^rang

1

^,^et. ^Les^résul-

tatsobtenuspourles

134

^images^de^SET2^sont^regroupés

dansletableau3.

Rangs Correspondanesumulées %

0 115 85,8%

1 129 96,2%

2 132 98,5%

3 134 100%

Table 3: Rangs umulatifs obtenus pour les images de

SET2

Le tableau 3 montre don que dans environ

85%

^des

as, une image test est reonnuedu premieroup. Pour

notrejeu detest,leréseauneprésenteaupireque

3

^faux

positifs.

5 Conlusion

L'approheproposéepourlareonnaissanefaialedansle

domaineinfrarougefontionnepourdebassesrésolutions

(lesimages sont de taille

56 × 46

^), intéressantes dans le adredefuturesappliationstéléoms. L'approheutilise

une arhiteture partiulière de réseau de neuroneson-

volutionnels. Cellei projette un visageinfrarouge dans

unespaede plusfaible dimension, où lareonnaissane

proprementditeest eetuée. Lestests eetuéssurune

baserestreinteétantenourageants,uneextensionpourla

fusiondesmodalités visible et infrarouge est enours de

Referenes

[1℄ www.l.am.a.uk/researh/dtg/attarhive/ fae-

database.html.

[2℄ M.AkhlouandA. Bendada. Thermalfaeprint: A

new thermal fae signature extration for infrared

fae reognition. In Computer and Robot Vision,

pages269272,2008.

[3℄ X.Chen,P.J.Flynn,andK.W.Bowyer.IRandvis-

iblelightfaereognition.Computer VisionandIm-

age Understanding,99(3):332358,September2005.

[4℄ S.DunerandC.Garia.Faereognitionusingnon-

linearimagereonstrution. Ini-LIDS: Bag andve-

hiledetetionhallenge,pages459464,2007.

[5℄ Di Huang, Yun-Hong Wang, and Yi-DingWang. A

robustinfraredfaereognitionmethodbasedonad-

aboost gaborfeatures. International Conferene on

WaveletAnalysisandPattern Reognition,2007.

[6℄ Jian Huang, Pong Chi Yuen, Wensheng Chen, and

Jian-HuangLai. Choosingparametersofkernelsub-

spaeLDAforreognitionoffaeimagesunder pose

and illumination variations. IEEE Transations on

Systems, Man, and Cybernetis, Part B,37(4):847

862,2007.

[7℄ Soon-WonJung,YoungsungKim,AndrewJinTeh,

andKar-AnnToh.Robustidentityveriationbased

oninfraredfaeimages. InInternationalConferene

onConvergeneInformationTehnology,2007.

[8℄ Y. LeCun, L. Bottou, Y. Bengio, and P. Haner.

Gradient-basedlearningapplied to doumentreog-

nition. In Intelligent Signal Proessing, pages 306

351.IEEEPress,2001.

[9℄ Hihem Sahbi. Kernel PCA for similarity invariant

shapereognition. Neuroomputing,70(16-18):3034

3045,2007.

[10℄ Diego A. Soolinsky and Andrea Selinger. Ther-

mal fae reognition in an operational senario. In

ComputerVision andPatternReognition(2),pages

10121019,2004.

[11℄ Shi-Qian Wu, Li-Zhen Wei, Zhi-Jun Fang, Run-Wu

Li,andXiao-QinYe. Infraredfaereognitionbased

onbloodperfusionand subblokdtinwaveletdo-

main. InInternational ConfereneonWaveletAnal-

ysisandPattern Reognition, 2007.