Numérisation 3D La tête dans les nuages (de points) Franck Hétroy-Wheeler

(1)

Num´erisation 3D

La tˆete dans les nuages (de points)

Franck H´etroy-Wheeler Montpellier, 30 mars 2018

(2)

Pr´ esentation

I Franck H´etroy-Wheeler,[email protected]

I Enseignant-chercheur eninformatique

I Professeur à l’université de Strasbourg(laboratoire ICube, équipe IGG) depuis 2017

I Chercheur associ´e dans l’´equipe MOSAIC (Inria, Lyon)

I Auparavant : maˆıtre de conférences à Grenoble INP - Ensimag (2004-2017), laboratoire Jean Kuntzmann, équipes EVASION puis Morpheo

I Th´ematiques de recherche :

I Analyse/compr´ehension deformes 3D

I Calcul/traitement numérique de lagéométrieet de latopologie

I Application aux donn´eesbotaniques(arbres, plantes)

2 / 71

UFR MATH´EMATIQUE - INFORMATIQUE

(3)

Pr´ esentation

I Franck H´etroy-Wheeler,[email protected]

I Enseignant-chercheur eninformatique

I Professeur à l’université de Strasbourg(laboratoire ICube, équipe IGG) depuis 2017

I Chercheur associ´e dans l’´equipe MOSAIC (Inria, Lyon)

I Auparavant : maˆıtre de conférences à Grenoble INP - Ensimag (2004-2017), laboratoire Jean Kuntzmann, équipes EVASION puis Morpheo

I Th´ematiques de recherche :

I Analyse/compr´ehension deformes 3D

I Calcul/traitement numérique de lagéométrieet de latopologie

I Application aux donn´eesbotaniques(arbres, plantes)

(4)

Contexte

Environnement virtuel:

repr´esentation informatique du monde r´eel (et plus !)

I Terrain/paysage

I Personnages

I Objets et accessoires

I . . .

Le monde de Rama, (c) ´Eric Bruneton

3 / 71

(5)

Applications (1)

Multim´edia:

I Jeux vid´eo

I Films d’animation

I Effets sp´eciaux

I R´ealit´e virtuelle

Big Buck Bunny, Blender Fundation

(6)

Applications (2)

Autres industries :

I Transport: simulateurs de conduite

I Architecture

I M´edecine: diagnostic via imagerie, simulation chirurgicale

I Patrimoine, mus´ees

I Objetsmanufactur´es : design, prototypage

(c) Corys

Portique du monast`ere de Ripoll

5 / 71

(7)

Comment cr´ eer un mod` ele virtuel

I Grâce à unlogicieladapté (Blender, Maya, . . .)

I Artiste

I + : Pas forc´ement r´ealiste

I - : Long, fastidieux, limit´e

I De mani`ereproc´edurale

I + : Rapide, niveaux de d´etails

I - : Pr´ecision, pas toujours possible

I Parnumérisationd’un modèle réel

(8)

Comment cr´ eer un mod` ele virtuel

I Artiste

6 / 71

(9)

Comment cr´ eer un mod` ele virtuel

I Artiste

(10)

Chaˆıne de num´ erisation

7 / 71

(11)

Num´ erisation : scanners

I Objectif : récupérer unensemble de pointssur lasurfacedu modèle

I Principe : envoi d’un rayon laser et retour

I Balayage

I Un exemple :

http://www.youtube.com/

watch?v=3oDp33mwPkE

Scanner laser (petit mod`ele) NextEngine

Scanner laser (grand mod`ele)

(12)

Num´ erisation : imagerie

I Objectif : récupérer uneimage 2D ou 3D(un volume) permettant de distinguer le modèle de son environnement

I Principes : cam´eras, capteurs, . . .

I Exemples :

I Systèmes multi-caméras (images ou vidéos)

I Cam´era + capteurs (profondeur, ...)

I Imagerie par r´esonance magn´etique

I Tomographie (rayons X)

I Echographie (ultrasons)

I Etc.

Syst`eme multi-cam´eras Plateforme Kinovis, (c) Inria

I.R.M.

(source : Wikipedia)

9 / 71

(13)

Chaˆıne de num´ erisation

(14)

Mod` ele bas niveau : nuage de points

I Unpoint= un ensemble de coordonnées (x,y,z), dans un référentiel connu

I Parfois d’autres informations :

I Couleur

I Vecteur normal `a la surface

11 / 71

(15)

Contexte

Géométrie différentielle discrète Voisinage

Normale et plan tangent Op´erateur Laplacien Descripteurs

Reconstruction de maillages Application aux arbres forestiers

(16)

Voisinage

I Pas d’information explicite de voisinage (connectivit´e)

⇒distance Euclidienneseule possibilit´e

I Hypoth`ese : nuage de points suffisammentdense

I M´ethodes :

ε-voisinage kplus proches voisins

I Supposent une distributionisotropiquedes points

I Calcul rapide avec des structureshi´erarchiques(octree, . . .)

13 / 71

(17)

Voisinage

I M´ethodes :

(18)

Voisinage

I M´ethodes :

13 / 71

(19)

Approximation du plan tangent

I Objectif : estimationrapideen tout pointxi :

I du plan tangent

I de la normale `a la surface

I des courbures

I Utilisation duvoisinageN(xi) dexi tel que défini précédemment

I Outil : analyse decovariance

(20)

Approximation du plan tangent

I Objectif : estimationrapideen tout pointxi :

I du plan tangent

I de la normale `a la surface

I des courbures

I Utilisation duvoisinageN(xi) dexi tel que défini précédemment

I Outil : analyse decovariance

14 / 71

(21)

Matrice de covariance

I xi point du nuage, ¯x centro¨ıde(isobarycentre) du voisinageN(xi) dexi :

¯ x= 1

|N(xi)|

X

x_j∈N(x_i)

xj

I Matrice de covariance:

C=





 xj1−¯x

.. . xj_k−x¯







T

.





 xj1−x¯

.. . xj_k−¯x







(22)

D´ ecomposition spectrale

I Valeurs propresλ0≤λ1≤λ2, vecteurs propres associ´esv0,v1etv2 I Chaqueλjmesure lavariationdeN(xi) le long devj

I Variation totale :

λ0+λ1+λ2= X

x_j∈N(x_i)

kxj−¯xk²

16 / 71

(23)

Estimations

I Normale`a la surface :v0

I Plan tangent: plan d´efini parv1 etv2passant parxi I Axe de plus grande variation :v2

I Variation de surface:σ(xi) = _λ ^λ⁰

0+λ₁+λ₂ I σ(xi) = 0 : voisinage plan

I σ(xi) = 1/3 : distribution isotropique sur une sph`ere

I Approximation de lacourbure moyenne

n= nombre de points dans le voisinage [Pauly et al. 2002]

(24)

Estimations

I Normale`a la surface :v0

I Plan tangent: plan d´efini parv1 etv2passant parxi I Axe de plus grande variation :v2

I Variation de surface:σ(xi) = _λ ^λ⁰

0+λ₁+λ₂ I σ(xi) = 0 : voisinage plan

I σ(xi) = 1/3 : distribution isotropique sur une sph`ere

I Approximation de lacourbure moyenne

n= nombre de points dans le voisinage [Pauly et al. 2002]

17 / 71

(25)

Autres estimations des normales

I Inconv´enientcalcul plan tangent : cas des arˆetes vives

I Autres approches :

I Triangulationlocale

I Calculquadriqueapprochante (fonction de hauteur)

I Besoin de sp´ecifier levoisinage

(26)

Covariance des normales

I Matrice de covariance desnormalesaux points :C⁰= X

x_j∈N(x_i)

n^T_j .nj

I Valeurs propresλ⁰0≤λ⁰1≤λ⁰2, vecteurs propresv0⁰,v1⁰ etv2⁰

I Variation de normale :σ⁰(xi) =λ⁰1

I [Garland 1999] : si la surface sous-jacente est lisse alors, quand l’´echantillonnage→ ∞,

I v₂⁰converge vers la normale moyenne

I v₁⁰converge vers ladirection de courbure maximum

I v₀⁰converge vers ladirection de courbure minimum

19 / 71

(27)

Covariance des normales

I Matrice de covariance desnormalesaux points :C⁰= X

x_j∈N(x_i)

n^T_j .nj

I Valeurs propresλ⁰0≤λ⁰1≤λ⁰2, vecteurs propresv0⁰,v1⁰ etv2⁰ I Variation de normale :σ⁰(xi) =λ⁰1

I [Garland 1999] : si la surface sous-jacente est lisse alors, quand l’´echantillonnage→ ∞,

I v₂⁰converge vers la normale moyenne

I v₁⁰converge vers ladirection de courbure maximum

I v₀⁰converge vers ladirection de courbure minimum

(28)

Op´ erateur de Laplace-Beltrami

I Op´erateur de Laplace(Laplacien) :

I f fonction diff´erentiable de deux variables dans un espace euclidien

I 4f =div(gradf) =fuu+fvv

I Op´erateur de Laplace-Beltrami:

I f définie sur une surfaceXvariété lisse

I 4_Xf =divX(gradXf)

I Op´erateur intrins`eque

I Pourula fonction qui associe `a tout point deXses coordonn´ees : 4_Xu=−2Hn

20 / 71

(29)

Op´ erateur de Laplace-Beltrami

I Op´erateur de Laplace(Laplacien) :

I f fonction diff´erentiable de deux variables dans un espace euclidien

I 4f =div(gradf) =fuu+fvv I Op´erateur de Laplace-Beltrami:

I f définie sur une surfaceXvariété lisse

I 4_Xf =divX(gradXf)

I Op´erateur intrins`eque

I Pourula fonction qui associe `a tout point deXses coordonn´ees : 4_Xu=−2Hn

(30)

Utilit´ e

I Variation localede la surface

I Applications : ´edition, transfert de d´etails, interpolation, . . .

I D´ecomposition spectrale: directions “intrins`eques” principales de la forme

[L´evy 2006]

I Descripteur de forme (“Shape DNA” [Reuter et al. 2006])

I Filtrage, d´ebruitage

I Compression, segmentation, . . .

21 / 71

(31)

Utilit´ e

I Variation localede la surface

I Applications : ´edition, transfert de d´etails, interpolation, . . .

I D´ecomposition spectrale: directions “intrins`eques” principales de la forme

[L´evy 2006]

I Descripteur de forme (“Shape DNA” [Reuter et al. 2006])

I Filtrage, d´ebruitage

(32)

Laplace-Beltrami pour un nuage de points

I S’exprime g´en´eralement sous la forme 4f(xi) = 1

Wi

X

x_j∈N(x_i)

wij(f(xj)−f(xi))

I [M. Belkin, J. Sun and Y. Wang SoDA 2009] :

1. Calcul plan tangent Πx en tout pointx(minimise distance de Hausdorff au ε−voisinage)

2. Calcul triangulation de DelaunayTx du voisinage projet´e sur Πx

3. wij= aire faces incidentes au projet´e dexjdansTx×poids gaussien (distancexj`axi)

I Convergevers l’op´erateur lisse quand le nuage de points devient de plus en plus dense

I Extensions : [Liu et al. 2012] (sym´etrique), [Petronetto et al. 2013] (sans maillage), [Qin et al. 2018] (arˆetes vives)

22 / 71

(33)

Laplace-Beltrami pour un nuage de points

Wi

X

x_j∈N(x_i)

wij(f(xj)−f(xi))

(34)

Laplace-Beltrami pour un nuage de points

Wi

X

x_j∈N(x_i)

wij(f(xj)−f(xi))

22 / 71

(35)

Caract´ eristiques de points (features)

I Limitation normales et courbures : approximationgrossi`eredu voisinage d’un point

I Beaucoup de points peuvent avoir la mˆeme normale ou courbure

I Objectif : analysertoutesles relations entre leskplus proches voisins d’un pointp

I Complexit´ek²

pointclouds.org

(36)

Caract´ eristiques de points (features)

I Limitation normales et courbures : approximationgrossi`eredu voisinage d’un point

I Beaucoup de points peuvent avoir la mˆeme normale ou courbure

I Objectif : analysertoutesles relations entre leskplus proches voisins d’un pointp

I Complexit´ek²

pointclouds.org

23 / 71

(37)

Point Feature Histogram (PFH)

B. Rusu et al., “Aligning Point Cloud Views using Persistent Feature Histograms”, IROS 2008

I Diff´erence entre lesnormales`a deux pointspsetpt :

pointclouds.org I α=v.nt,φ=u._kp^p^t^−p^s

t−p_sk,θ=arctan(w.nt,u.nt)

I Le quadruplet (α, φ, θ,kpt−psk) repr´esente l’estimateur de diff´erence entreps etpt

(38)

Contexte

Géométrie différentielle discrète

Reconstruction de maillages Types d’approches

Focus : m´ethodes par surface implicite Conclusion

Application aux arbres forestiers

Conclusion

25 / 71

(39)

Objectif

D’unnuage de points3D `a une surfacemaill´ee

I 2-vari´et´e

I Sansbord(watertight)

I Approchantles points (plutˆot qu’interpolant)

(40)

Objectif

D’unnuage de points3D `a une surfacemaill´ee

I 2-vari´et´e

I Sansbord (watertight)

I Approchantles points (plutˆot qu’interpolant)

26 / 71

(41)

Difficult´ es

Le nuage de points peut ˆetre :

I Organis´e(issu d’un scan en lignes/colonnes) ou non

I Orienté(normale associée à chaque point) ou non

I Dedensit´e uniformeou non

I Bruit´eou non

(42)

M´ ethodes type Delaunay

I Triangulation de Delaunay

I D´efinition : aucun sommet dans le cercle circonscrit `a un triangle

I Propri´et´e fondamentale : maximise l’angle minimum

I Grande partie des m´ethodes existantes

I Intérêt : preuves théoriques devalidité

I Topologie, distance Euclidenne aux ´echantillons, distance des normales

I Sousconditions(pas/peu de bruit, . . .)

I http://interstices.info/display.jsp?id=c_12845

28 / 71

(43)

M´ ethodes type Delaunay

I Triangulation de Delaunay

I D´efinition : aucun sommet dans le cercle circonscrit `a un triangle

I Propri´et´e fondamentale : maximise l’angle minimum

I Grande partie des m´ethodes existantes

I Intérêt : preuves théoriques devalidité

I Topologie, distance Euclidenne aux ´echantillons, distance des normales

I Sousconditions(pas/peu de bruit, . . .)

I http://interstices.info/display.jsp?id=c_12845

(44)

Avantages et inconv´ enients

I Tailledu maillage r´esultat∼taille de l’´echantillon

I Pas/peu d’ajout de points

I Echantillonnageconnu et uniforme⇒tr`espr´ecis

I Bruit oupoints aberrants⇒mauvais r´esultats

29 / 71

(45)

Mod` eles d´ eformables

I Idée : partir d’une forme simple et petite (sphère par exemple) à l’intérieur de l’objet et ladéformerpour qu’elle aille plaquer la surface

I Difficulté : établir les équations de déformation

I Suppose la surface ferm´ee (watertight)

I Robuste au donn´ees manquantes

I Exemple : A. Sharf et al., “Competing Fronts for Coarse-to-Fine Surface Reconstruction”, Eurographics 2006

(46)

Utilisation d’un squelette

Id´ee :

I Calcul d’unecourbe représentativede l’objet appeléesqueletteà l’intérieur de celui-ci

I Grossissement local anisotropique de cette courbe

I Particulièrement adapté aux modèles tubulairesou à axe de révolution (vases, . . .)

I Robuste aux donn´ees manquantes

I Exemple : A. Tagliasacchi et al.,

“VASE : Volume-Aware Surface Evolution for Surface

Reconstruction from Incomplete Point Clouds”, Symposium on Geometry Processing 2011

31 / 71

(47)

Fitting de surface implicite

I Id´ee :

1. Définir unesurface implicite lissequi approche la surface réelle sous-jacente 2. Projeterou générer les/des points sur cette surface et trianguler

I Probl`eme principal :d´efinitionde la surface implicite

I Beaucoup de possibilit´es : fonction de distance, MLS, RBF, . . .

(48)

Fitting de surface implicite

I Id´ee :

1. Définir unesurface implicite lissequi approche la surface réelle sous-jacente 2. Projeterou générer les/des points sur cette surface et trianguler

I Probl`eme principal :d´efinitionde la surface implicite

I Beaucoup de possibilit´es : fonction de distance, MLS, RBF, . . .

32 / 71

(49)

Hoppe et al. SIGGRAPH 1992

I http://hhoppe.com/proj/recon/

I Entr´ee:

I Points avec coordonn´ees 3D, pas de normale

I Topologie/bords :arbitraires, inf´er´es depuis le nuage de points

I Densitéd’échantillonnage : supposéeuniforme, donnée en paramètre

I Erreur max par rapport à la surface sous-jacente (bruit) : donnée en paramètre

I Sortie:

I Surfacemaill´ee

I Pas n´ecessairement triangul´ee

I 2-vari´et´econnexe et orientable

(50)

Hoppe et al. SIGGRAPH 1992

I Entr´ee:

I Sortie:

I Surfacemaill´ee

33 / 71

(51)

Hoppe et al. SIGGRAPH 1992

I Entr´ee:

I Sortie:

I Surfacemaill´ee

(52)

Algorithme

I 4 ´etapes :

1. Estimation duplan tangent`a la surface sous-jacenteSen chaque pointxi

du nuage

I Approximation localement lin´eaire deS

2. Orientationconsistante de chacun des plans par rapport à ses voisins 3. Fonction implicite :distance Euclidienne signéeà un plan proche et

´echantillonnage sur unegrille de voxels

4. Extraction d’uneisosurface

34 / 71

(53)

Calcul d’isosurface

I Algorithme desMarching Cubes[Lorensen and Cline, SIGGRAPH 1987]

−→

(54)

Discussion

I Complexit´e en temps et place m´emoire :O(nlogn+m)

I n= nombre de points,m³= taille de la grille

I Probl`eme si densit´e non uniforme : besoin d’unetaille de voisinage adaptative

I R´esultats impressionnants . . . pour l’´epoque (1992) !

−→

36 / 71

(55)

Fonctions de base radiales (RBF)

I Fonction radiale: ne d´epend que de ladistance `a un pointxi

Φ(x,xi) =φ(kx−xik)

I Invariante pour toute rotation autour dexi I x_i appel´ecentrede la fonction radiale

I Fonctions de base radiales classiques :

I Gaussiennes :φ(r) =e^−αr²

I Multiquadriques :φ(r) =√ r²+α²

I Splines `a plaque mince :φ(r) =r²logr

I Monomiales :φ(r) =rⁿ

(56)

Fonctions de base radiales (RBF)

I Fonction radiale: ne d´epend que de ladistance `a un pointxi

Φ(x,xi) =φ(kx−xik)

I Invariante pour toute rotation autour dexi I x_i appel´ecentrede la fonction radiale

I Fonctions de base radiales classiques :

I Gaussiennes :φ(r) =e^−αr²

I Multiquadriques :φ(r) =√ r²+α²

I Splines `a plaque mince :φ(r) =r²logr

I Monomiales :φ(r) =rⁿ

37 / 71

(57)

D´ ecomposition d’une fonction implicite en RBF

I f(x) =

n

X

i=1

λiφ(kx−xik) +P(x)

I On supposef connue en lesxi, lesλi inconnus

I Ppolynôme, dépend du choix des RBF, nécessaire pour trouver lesλi

I S’´ecrit sous forme matricielle :

Φ X

λ c

= f

avec :

I Φ(i,j) =φ(kxi−xjk)

I X(i, .) = (1xi yi zi)

I λvecteur desλi

I c vecteur des coefficients deP

I f vecteur desf(xi)

Figure par Marc Alexa

(58)

D´ ecomposition d’une fonction implicite en RBF

I f(x) =

n

X

i=1

λiφ(kx−xik) +P(x)

I On supposef connue en lesxi, lesλi inconnus

I Ppolynôme, dépend du choix des RBF, nécessaire pour trouver lesλi I S’écrit sous forme matricielle :

Φ X

λ c

= f

avec :

I Φ(i,j) =φ(kxi−xjk)

I X(i, .) = (1xi yi zi)

I λvecteur desλi

I c vecteur des coefficients deP

I f vecteur desf(xi)

Figure par Marc Alexa

38 / 71

(59)

Comparaison par rapport ` a Hoppe

I Système inversible d’équations linéaires : pas besoin degrille

I Choix des fonctions de base : plus decontrˆolequ’avec une fonction de distance

I Inconvénient : besoin de quelquesnormales(peuvent être estimées par la méthode de Hoppe) pour éviter la solution trivialef(x) = 0

I Temps de calcul : long mais astuces pour acc´el´erer

(60)

Nouvelle mod´ elisation du probl` eme

I Entr´ee : pointsmunis de leurs normales

I Fonction indicatricesurR³: 1 `a l’int´erieur de l’objet, 0 en dehors

I ⇒Gradient: 0 partout sauf au voisinage de la surface

40 / 71

(61)

Reconstruction de Poisson

I Entrée :gradientéchantillonné

I V = champ de gradient d´efini aux points =normalesdes pointsxi I Probl`eme : trouver lafonction indicatriceχqui minimisek∇χ−Vk

I Se reformule comme une´equation de Poisson 4χ=∇.∇χ=∇V

I Equation de diffusion :4χ= 0

(62)

Reconstruction de Poisson

I Entrée :gradientéchantillonné

I V = champ de gradient d´efini aux points =normalesdes pointsxi I Probl`eme : trouver lafonction indicatriceχqui minimisek∇χ−Vk

I Se reformule comme une´equation de Poisson 4χ=∇.∇χ=∇V

I Equation de diffusion :4χ= 0

41 / 71

(63)

Impl´ ementation

I Impl´ementationefficacepossible

I χdécomposée dans une base de fonctionsà support compact⇒système matriciel creux

I Discr´etisation de l’espace adaptative :octreeplutˆot qu’une grille uniforme

I Codedisponible

I http://www.cs.jhu.edu/~misha/Code/PoissonRecon

I Trois m´ethodes

I Pour en savoir plus :

I M. Kazhdan, M. Bolitho and H. Hoppe, “Poisson Surface Reconstruction”, Symposium on Geometry Processing 2006

(64)

Impl´ ementation

I Impl´ementationefficacepossible

I χdécomposée dans une base de fonctionsà support compact⇒système matriciel creux

I Discr´etisation de l’espace adaptative :octreeplutˆot qu’une grille uniforme

I Codedisponible

I http://www.cs.jhu.edu/~misha/Code/PoissonRecon

I Trois m´ethodes

I Pour en savoir plus :

I M. Kazhdan, M. Bolitho and H. Hoppe, “Poisson Surface Reconstruction”, Symposium on Geometry Processing 2006

42 / 71

(65)

Comparaison aux m´ ethodes pr´ ec´ edentes

I Th´eoriquement tr`essimple

I Fonctionχlisse⇒bons résultats même en présence de bruit

I Surface ferm´ee, sans arˆetes vives

I Besoin de l’information denormalespartout, et consistantes

(66)

Alternative aux Marching Cubes : CVT

I Centroidal Voronoi

Tessellation: it´erations calcul Vorono¨ı/d´eplacement des germes

I Calcul dans le volume et coupure (clipping) au niveau de la surface implicite

I Fronti`ere CVT =meilleure approximationde la surface

implicite que Marching Cubes [Wang, HW, Boyer 2016]

44 / 71

(67)

Bilan

I Tr`esnombreuses approches

I Etat de l’art r´ecent : M. Berger et al., “A Survey of Surface Reconstruction from Point Clouds”, Computer Graphics Forum 2016

I Id´ee classique : interpoler ou approcher les points par unesurface implicite

I Surface lisse, la plupart du temps ferm´ee

I Points critiques :

I Approche locale ou globale ?

I Utilisation desnormalesaux points ou pas ? Orient´ees ou pas ?

I Robustesse: bruit, densit´e non uniforme, donn´ees manquantes

(68)

Contexte

Géométrie différentielle discrète Reconstruction de maillages

Application aux arbres forestiers Besoins et applications

“Am´elioration” du nuage de points Perspectives

Conclusion

46 / 71

(69)

Inventaire forestier

I Collecteetévaluationde données forestières

I Distribution des espèces, qualité du bois, santé, diamètre à hauteur de poitrine, . . .

I Mesure debiomasse: volume de bois et indice de surface foliaire (LAI)

(70)

Applications (exemples)

I Gestiondurable

I Qualit´e du bois, carte de risque de d´epart de feu, suivi des maladies/nuisibles, . . .

I Surveillance duchangement climatique

I Effet de serre

I Flux de carbone

(c) Eric Casella

https://www.youtube.com/watch?v=1pEFIXSgBvM

48 / 71

(71)

Contexte

Reconstruction de maillages

Application aux arbres forestiers Besoins et applications

“Am´elioration” du nuage de points

D´ebruitage Segmentation Fitting de primitives

(72)

Voisinage

ε-voisinage k plus proches voisins

I Pas assez de voisins : manque d’information

I Trop de voisins : lent

[HW et al. IJRS 2016]

I Param`etre suppl´ementaire :angle minimum entre voisins

I Adapt´e auxbranches

50 / 71

(73)

Voisinage

ε-voisinage k plus proches voisins

I Pas assez de voisins : manque d’information

I Trop de voisins : lent

[HW et al. IJRS 2016]

I Param`etre suppl´ementaire :angle minimum entre voisins

I Adapt´e auxbranches

(74)

Bruit d’acquisition

I Tr`es pr´esent dans le cas des arbres

I Bruit de pixel mixte[H´ebert and Krokov 1992] : plusieurs contacts laser/surface

I Bruit de ciel(scanners `a d´ecalage de phase) : pas de retour

51 / 71

(75)

Bruit d’acquisition

I Tr`es pr´esent dans le cas des arbres

I Bruit de pixel mixte[H´ebert and Krokov 1992] : plusieurs contacts laser/surface

(76)

D´ ebruitage : m´ ethode statistique

Suppression des points isol´es (outliers) :

I Supprimer tous les points n’ayant pas au moinskvoisins dans un rayonr

I Ou : supprimer tous les points dont la distance moyenne auxk voisins n’est pas dans un intervalle de confiance

pointclouds.org

52 / 71

(77)

Nouveaux algorithmes

I DoctoratRomain Rombourg(2015-2018), co-encadrementEric Casella (Forestry Commission, Royaume-Uni)

I Article en cours de r´edaction

I Id´ee : travailler sur l’image de profondeuret l’image d’intensit´eissues du scan

(78)

Filtre bruit de pixel mixte

I Image deprofondeur

I Anglesentre la direction du laser et les normales aux triangles (p, deux voisins)

I p= bruit si plus de la moiti´e des angles au-dessus d’un seuil

I Exemple de r´esultat :

54 / 71

(79)

Filtre bruit de ciel

I Images d’intensit´eet de profondeur

I Ciel = faible intensit´e et grande variance de profondeur

p= bruit si :

1. Variance de profondeur dans le plus grand mode

2. Intensité<seuil calculé à partir des points précédents

3. >50% des voisins sont du bruit

(80)

Filtre bruit de ciel

I Images d’intensit´eet de profondeur

I Ciel = faible intensit´e et grande variance de profondeur

p= bruit si :

1. Variance de profondeur dans le plus grand mode

2. Intensité<seuil calculé à partir des points précédents

3. >50% des voisins sont du bruit

55 / 71

(81)

Quelques r´ esultats

(82)

Segmentation

I Décompositionde la forme en régions sémantiques

I Arbre : tronc, branches, feuilles, fruits bourgeons, . . .

I Forˆet ou parcelle : arbres

I Intérêt : calculs spécifiques

I Volume de bois, surface foliaire

57 / 71

(83)

Litt´ erature

I Nombreuse !

I Overview : [Nguyen and Le ICRAM 2013]

I Quelques types d’approches :

I Croissance de r´egion

I Extraction de cluster

I Diff´erence de normales

(84)

Croissance de r´ egion

1. Choix d’unegraineg parmi les points non trait´es

I Point dans zone plane (courbure faible)

2. Nouvelle r´egionR← {g}, liste des grainesG ← {g} 3. Pour toute graineg⁰ dansG :

3.1 Pour tout voisinpdeg⁰:

3.1.1 Si normale depproche de la normale deg⁰alors ajout dep`aR 3.1.2 Si courbure depfaible alors ajout dep`aG

4. Recommencer avec une nouvelle r´egion et une nouvelle graine

pointclouds.org

59 / 71

(85)

Extraction de cluster

1. File de priorit´eQ sur les points (initialement vide) 2. Pour tout pointpdu nuage pas encore trait´e :

2.1 Ajout dep`aQ 2.2 Pour toutp⁰ dansQ:

2.2.1 Ajout desε−voisins dep⁰dansQ(si pas déjà traités) 2.3 Nouveau cluster←Q, etQ← ∅

(86)

Diff´ erence de normales

Y. Ioannou et al., “Difference of Normals as a Multi-Scale Operator in Unorganized Point Clouds”, 3DIMPVT 2012

1. Calcul de la normale au point considéré àdeux échelles différentes 2. Calcul du vecteurdifférenceentre les deux

3. Segmentation (extraction de cluster) du champ de vecteurs r´esultant

61 / 71

(87)

Notre approche

I Arbre : pas de grandes zonesplanes. . .

I . . . maisdirections privilégiées(même pour les feuilles)

I Probl`eme : ces directions sont “courbes”

I ⇒th´eorie duregroupement spectral(spectral clustering)

(88)

Notre approche

I Arbre : pas de grandes zonesplanes. . .

I . . . maisdirections privilégiées(même pour les feuilles)

I Probl`eme : ces directions sont “courbes”

I ⇒th´eorie duregroupement spectral(spectral clustering)

62 / 71

(89)

Spectral clustering

I LmatriceLaplaciennesur les sommets

I L=Dmatrice des degr´es−W matrice d’adjacence

I L⁰Laplacien normalis´e =D⁻¹L

I Plongementd´efini par lesk premiersvecteurs propresu1, . . .uk deL⁰

I Coordonn´ees du point num´eroi= lignei de la matriceU= (u1, . . . ,uk)

I Clustering : algorithme desk-moyennessur les lignes deU

(90)

Raffinement

I Poidsdes arˆetes : distancecommute-time

I ∼L²dans l’espace spectral (pond´er´e par les valeurs propres)

I Probl`emek-moyennes : partitionnement isotropique

I ⇒algorithme bas´eDijkstra

I Plus de d´etails : voir [HW, Casella and Boltcheva IJRS 2016]

64 / 71

(91)

Raffinement

(92)

Raffinement

64 / 71

(93)

Fitting de primitives

Id´ee :

I Approcherlocalementla surface par uneprimitive g´eom´etriquesimple

I Plan, sph`ere, cˆone, cylindre, . . .

I Problème à résoudre ensuite :couturedes primitives voisines

I Particulièrement adapté aux modèles industriels(CAO)

I Robuste au bruit et donn´ees manquantes

I Exemple : R. Schnabel et al.,

“Completion and Reconstruction with Primitive Shapes”,

(94)

Cas des branches

M. ˚Akerblom et al., “Analysis of Geometric Primitives in Quantitative Structure Models of Tree Stems”, Remote Sensing 2015

I Comparaisonprimitives pour mod´elisation branches `a partir de points

I Cylindre circulaire`a privil´egier

I Simple :robusteau bruit et donn´ees manquantes

I Erreur reste faible

I Solutions plus complexes pour les troncs

66 / 71

(95)

Cas des branches

M. ˚Akerblom et al., “Analysis of Geometric Primitives in Quantitative Structure Models of Tree Stems”, Remote Sensing 2015

I Comparaisonprimitives pour mod´elisation branches `a partir de points

I Cylindre circulaire`a privil´egier

I Simple :robusteau bruit et donn´ees manquantes

(96)

Perspectives

I Segmentation:

I D’un arbre en ses organes (branches, feuilles)

I D’un ensemble/d’uneplacette foresti`ereen ses arbres

I Heuristiquesbotaniques, informations géométriques et d’intensité

I Calcul deprimitivespour les feuilles

I Surfaces ouvertes, trous

I Maillage, spline/NURBS, ensemble de quadriques

(c) J. Ravaglia et al.

[Chaurasia/Beardsley 2017]

67 / 71

(97)

Au-del` a des arbres forestiers

I Céréales(thèse CIFRE Mélinda Boukhana, Arvalis/INRA Avignon)

I Acquisitionen plein champ

I Identificationet caract´erisation desorganes(´epis, feuilles, tiges)

I L´egumesvs. mauvaises herbes (projet H2020 ROMI,

Inria/CNRS Lyon/Sony/etc.)

I Segmentationen organes Suivitemporel

Phenomobile, (c) INRA/Arvalis

(98)

Conclusion

Contexte

Reconstruction de maillages Application aux arbres forestiers Conclusion

69 / 71

(99)

Take home message

On peut travailler directement sur les nuages de points mais :

I Besoin d’information devoisinage

I Besoin d’information denormales

I Maillageutile pour des opérations globales ou évoluées (analyse de forme, modification, déformation, . . .)

(100)

Joyeuses Pˆ aques

71 / 71