Learning new representations for 3D point cloud semantic segmentation

HAL Id: tel-02458455

https://pastel.archives-ouvertes.fr/tel-02458455

Submitted on 28 Jan 2020

HAL is a multi-disciplinary open access

archive for the deposit and dissemination of

sci-entific research documents, whether they are

pub-lished or not. The documents may come from

teaching and research institutions in France or

abroad, or from public or private research centers.

L’archive ouverte pluridisciplinaire HAL, est

destinée au dépôt et à la diffusion de documents

scientifiques de niveau recherche, publiés ou non,

émanant des établissements d’enseignement et de

recherche français ou étrangers, des laboratoires

publics ou privés.

Hugues Thomas

To cite this version:

Hugues Thomas. Learning new representations for 3D point cloud semantic segmentation. Machine

Learning [cs.LG]. Université Paris sciences et lettres, 2019. English. �NNT : 2019PSLEM048�.

�tel-02458455�

Préparée à MINES ParisTech

Apprentissage de nouvelles représentations pour la

sémantisation de nuages de points 3D

Learning new representations for 3D point cloud semantic

segmentation

Soutenue par

Hugues THOMAS

Le 19 novembre 2019

Ecole doctorale n° 432

Sciences

et

Métiers

de

l’Ingénieur

Spécialité

Mathématiques,

Informatique Temps-Réel,

Robotique

Composition du jury :

Professeur, Université Clermont Auvergne (UCA)

Bruno VALLET

Chargé de recherche, Institut national de l’information géographique et forestière (IGN)

Pascal, MONASSE

Professeur, Ecole Nationale des Ponts et Chaussées

Martin WEINMANN

Chargé de recherche, Karlsruhe Institute of Technology (KIT)

Beatriz MARCOTEGUI

Professeur, Mines ParisTech

Jean-Emmanuel DESCHAUD

Chargé de recherche, Mines ParisTech

François GOULETTE

Professeur, Mines ParisTech

𝜌

𝑊𝑘𝑘 < 𝐾

𝑓𝑖

ℎ𝑖𝑘

1 × 1

𝐷𝑖𝑛 ≠ 2𝐷

𝒫

= { (𝑥

, 𝑓

) | 𝑥

∈ ℝ

, 𝑓

∈ ℝ

}

𝑘

𝑘

ℝ

𝒫

𝒫 = {𝑥

∈ ℝ

_}

𝑁

𝒫

𝒫 ∈ ℝ

𝒫

= { (𝑥

, 𝑓

) | 𝑥

∈ ℝ

, 𝑓

∈ ℝ

}

𝐷

ℱ ∈ ℝ

𝒫 ∈ ℝ

_𝒫

_ℱ

𝑦

∈ ℝ

_{𝒫 = {𝑥}

∈ ℝ

}

𝑥

𝑦

𝑦

𝑥

𝑦

𝑟 ∈ ℝ

𝑟

𝑦

𝒩

(𝑦

, 𝒫, 𝑟) = { 𝑥

∈ 𝒫 | ‖𝑦

− 𝑥

‖ ≤ 𝑟 }

𝑦

𝑘

𝑦

𝒩

(𝑦

, 𝒫, 𝑘) = {𝑥

∈ 𝒫 | ‖𝑦

− 𝑥

‖ ≤ ‖𝑦

− 𝑥

‖, 𝑖 < 𝑘 }

𝑥

𝑦

𝑟 ∈ ℝ

𝐻

𝑃

𝐻

𝒩

(𝑦

, 𝒫, 𝑟, 𝐻) = { 𝑥

∈ 𝒫 | ‖𝑃

(𝑦

) − 𝑃

(𝑥

)‖ ≤ 𝑟 }

𝑘

𝑘 = 3

𝑇

𝑇

𝜎

𝑛

𝑁

𝑃(𝑖𝑛𝑙𝑖𝑒𝑟) = 𝑛 𝑁

⁄

𝑃(𝑎𝑙𝑤𝑎𝑦𝑠 𝑓𝑎𝑙𝑠𝑒) = (1 − (𝑛 𝑁

⁄ )

₎

𝑃(𝑠𝑢𝑐𝑒𝑠𝑠𝑓𝑢𝑙 𝑟𝑎𝑛𝑠𝑎𝑐) = 1 − (1 − (𝑛 𝑁

⁄ )

₎

𝑇

𝑝

𝑇

=

log(1 − 𝑝)

log(1 − (𝑛 𝑁

⁄ )

₎

𝑇

=

log(1 − 0.99)

log(1 − 0.5

₎

= 35

𝑛 → 𝑁

𝑇

= 1

𝑘 > 3

𝑛 ≪ 𝑁

𝑇

~ log (

1

1 − 𝑝

) (

𝑁

𝑛

)

~ 𝑂 ((

𝑁

𝑛

)

)

𝑂(𝑁 + 𝑛𝑙𝑜𝑔(𝑁))

𝑛 → 𝑁

𝑂(𝑁𝑙𝑜𝑔(𝑁))

















𝐶 ⊂ ℝ

_𝐩

𝒩(𝐩

, 𝐶, 𝑟) = {𝐩 ∈ 𝐶 | ‖𝐩

− 𝐩‖ ≤ 𝑟}





𝑙 ∈ ℝ

𝑟 ∈ ℝ

𝜌 =

𝜌

𝑟

𝑆

𝜑

𝑠 ∈ {0, … , 𝑆 − 1}

𝐩

∈ ℝ

𝒩

(𝐩

) = 𝒩(𝐩

, 𝐶

, 𝑟

)

𝑟

= 𝑟

× 𝜑

_𝑠

_𝐶

𝑟

⁄

𝜌

𝜆

> 𝜆

> 𝜆

∈ ℝ

𝐞

, 𝐞

, 𝐞

∈ ℝ

cov(𝒩) =

1

|𝒩|

∑ (𝐩 − 𝐩̅)(𝐩 − 𝐩̅)

∑ 𝜆

(∏ 𝜆

)

− ∑ 𝜆

ln(𝜆

)

(𝜆

− 𝜆

) 𝜆

⁄

(𝜆

− 𝜆

) 𝜆

⁄

𝜆

⁄

𝜆

𝜆

⁄

(𝜆

+ 𝜆

+ 𝜆

)

× 2

|

𝜋

₂

− angle(𝐞

− 𝐞

)|

× 6

1

|𝒩|

|∑⟨𝐩 − 𝐩

|𝐞

⟩

|

× 2

_|𝒩|

1

∑⟨𝐩 − 𝐩

|𝐞

⟩

|𝒩|

𝐩̅

𝒩

(𝜆

− 𝜆

) 𝜆

⁄

|𝜋/2 − angle(𝐞

− 𝐞

)|

𝐞

𝑆 = 8

𝑟

= 0.1𝑚

𝜑 = 2

𝜌 = 5

𝑆, 𝑟

, 𝜑

ρ

𝐹

𝐹

=

2𝑇𝑃

2𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁

IoU =

𝑇𝑃

𝑇𝑃 + 𝐹𝑃 + 𝐹𝑁

=

𝐹

2 − 𝐹

𝑇𝑃 𝐹𝑃

𝐹𝑁

𝒯

𝒰

𝒰

𝒯

𝑛0 𝑛𝑖𝑛𝑐 𝑖𝑚𝑎𝑥 𝒫 𝐶 𝒫𝑐 𝑐 𝒯0= ⋃ {(𝑝𝑗)_𝑗<𝑛 0 | 𝑝𝑗∈𝒫𝑐} 𝑐<𝐶 𝑖 = 0 𝑖𝑚𝑎𝑥 𝒯𝑖 𝒰𝑖=𝒫∖ 𝒯𝑖 ℰ. 𝒯𝑖+1= 𝒯𝑖 ∪ {(𝑝𝑗)_𝑗<𝑛 𝑖𝑛𝑐 | 𝑝𝑗∈ ℰ}

𝑛

= 100

𝑛

= 300

𝑖

= 18

𝑛

= 200

𝑛

= 1,800

𝑖

= 50

𝐹

𝑆 = 8

𝑟

= 0.05𝑚

𝜑 = 2

𝜌 = 5

𝑛

= 1,000

𝑛

= 2,000

𝑖

= 20

𝐹1

× 3

1

|𝒩|

∑ 𝑐

× 3

1

|𝒩| − 1

∑(𝑐 − 𝑐̅)

𝑆 = 8

𝑟

= 0.05𝑚

𝜑 = 2

𝜌 = 5

𝑆 = 8

𝑟

= 0.1𝑚

𝜑 = 2

𝜌 = 5

𝑛

= 1,000

𝑛

= 2,000

𝑖

= 20

𝜌

𝜌

𝜌

𝜌 = 3

𝜌

𝜌

𝜌 = 5

𝜌

𝜌

3 × 3

𝜌















256

𝐹

𝑔

𝐹 ∗ 𝑔 = ℱ

_{(ℱ(𝐹) ⊙ ℱ(𝑔))}

⊙

∗

ℱ

𝑈

𝑥

𝑥̂ = ℱ(𝑥) = 𝑈

_𝑥

𝑥 = ℱ

_{(𝑥̂) = 𝑈𝑥̂}

𝐹 ∗ 𝑔 = 𝑈(𝑈

_{𝐹 ⊙ 𝑈}

_𝑔)

𝑈

_𝑔

𝑈

_𝑔

_Θ

𝐹 ∗ 𝑔 = 𝑈Θ𝑈

_𝐹

Θ

𝑀𝐿𝑃(ℎ

, … , ℎ

)

𝑙

ℎ

𝑖

1 × 1

ℝ

ℝ

64 × 64

3 × 3

𝐼

𝑔

𝑥

(𝐼 ∗ 𝑔)(𝑥) = ∑ 𝑔(𝑥

− 𝑥)𝐼(𝑥

)

𝒩

𝑥

𝑥

𝑥

ℕ

𝑔

𝑥

𝑥

𝑥

ℝ

𝑔

𝑥

𝑓

𝒫 ∈ ℝ

_{ℱ ∈ ℝ}

ℱ

𝑔

𝑥 ∈ ℝ

(ℱ ∗ 𝑔)(𝑥) = ∑ 𝑔(𝑥

− 𝑥)𝑓

𝑓

ℝ

_𝑔

_ℝ

_𝑂

𝑔

𝑥

𝑦

= 𝑥

− 𝑥

𝑔

ℝ

_ℝ

𝑔

ℝ

𝑔

𝑔 = 𝑀𝐿𝑃(16,32, 𝐷 × 𝑂)

𝐷 × 𝑂

𝐾

𝑲

𝑊

𝐾

𝜒

𝜒(𝑥) = 𝑁𝑒𝑡(𝒩

)

𝑁𝑒𝑡

𝜒

𝐾 × 𝐾

𝜒

𝑥

𝜒

𝜒conv (𝑥) = ∑ 𝑊

(∑ 𝜒

(𝑥)[𝑀𝐿𝑃(𝑦

), 𝑓

]

)

[… , … ]

𝜒conv (𝑥) = ∑ 𝑊

_{(∑ 𝜒}

(𝑥)𝑀𝐿𝑃(𝑦

)

)

+ ∑ 𝑊

_{(∑ 𝜒}

(𝑥)𝑓

)

𝜒

𝜒

𝑁𝑒𝑡

𝐾

𝑁𝑒𝑡

𝑁𝑒𝑡

𝜒

(ℱ ∗ 𝑔)(𝑥) =

1

|𝒩

|

∑

1

𝑝(𝑥

|𝑥)

𝑔(𝑥

− 𝑥)𝑓

𝑔

𝐷 × 𝑂

𝑔

𝑀𝐿𝑃(8,8,1)

𝑀𝐿𝑃(8,8,8)

𝑀𝐿𝑃(8,8,1)

𝑔

𝐷

𝐷 × 𝑂

1 × 1

𝑔

𝑔(𝑦

) =

𝑉(𝑖)

𝑦

𝑤

𝑛

3

_{= 27}

𝑔

𝑔(𝑦

) = 𝑔

_(𝑦

) ∙ 𝑔

(𝑦

)

𝑔

_𝑔

𝑔

𝑔(𝑦

) = 𝑤

∙ 𝑔

(𝑦

)

𝑤

𝑖

𝑔

ℝ

𝑔

𝐷 × 𝑂

ℝ

∀𝑑 < 𝐷,

∀𝑜 < 𝑂,

𝑔

(𝑦

) = 𝑊

𝑦

+ 𝑏

𝐷 × 𝑂 × 4

𝑔

𝑔(𝑦

) = ∑ Φ(|𝑦

− 𝑥̃

|)𝑊

Φ

𝑦

𝑥̃

𝐷 × 𝑂

𝑊

𝑥̃

𝑔

𝑥

ℝ

𝒩

= {𝑥

∈ 𝒫 | ‖𝑥

− 𝑥‖ ≤ 𝑟}

𝑦

= 𝑥

− 𝑥

ℬ

= {𝑦 ∈ ℝ

| ‖𝑦‖ ≤ 𝑟} ℬ

𝑔

𝑔

{𝑥̃

}

𝐾

{𝑊

}

𝐷

𝐷

∀𝑘 < 𝐾 𝑥̃

∈ ℬ

_𝑊

∈ ℝ

𝑔

𝑦

∈ ℬ

𝑔(𝑦

) = ∑ ℎ(𝑦

, 𝑥̃

)𝑊

ℎ

𝑥̃

𝑦

𝑥̃

𝑦

ℎ(𝑦

, 𝑥̃

) = max (0, 1 −

‖𝑦

− 𝑥̃

‖

𝜎

)

𝜎

𝐾

𝐾

𝑥̃

∀𝑥 ∈ ℝ

_,

_𝐸

(𝑥) =

1

‖𝑥 − 𝑥̃

‖

∀𝑥 ∈ ℝ

_,

_𝐸

_{(𝑥) = ‖𝑥‖}

𝐸

_{= ∑ (𝐸}

_(𝑥̃

) + ∑ (𝐸

(𝑥̃

))

)

𝐾

𝑟

𝑟

𝜎

𝜎

𝑟

= 1.5 × 𝜎

𝑟 = 2.5 × 𝜎

𝜎

𝐾

(2𝑘 + 1)

_𝑘

𝑑𝑖𝑚

𝑟

𝜎

ℎ

ℎ

(𝑦

, 𝑥̃

) = max (0, 1 −

‖𝑦

− 𝑥̃

‖

ℎ

(𝑦

, 𝑥̃

) = exp (

−‖𝑦

− 𝑥̃

‖

2𝜎

)

ℎ

(𝑦

, 𝑥̃

) = {

_{0, else}

1, if ‖𝑦

− 𝑥̃

‖ < 𝜎

𝑔

𝑔(𝑦

) = ∑ ℎ(𝑦

, 𝑥̃

)𝑊

𝑔(𝑦

) = ℎ(𝑦

, 𝑥̃

)𝑊

with 𝑘

= argmin

‖𝑦

− 𝑥̃

‖

𝑑𝑙

𝜎 = Σ × 𝑑𝑙

Σ

3 × 3

𝐾

Σ

Σ = 1.0

𝐾 = 27

3 × 3 × 3

ℎ

𝑔

𝑥̃

{𝑥̃

}

𝐾

∆(𝑥) ∈ ℝ

(ℱ ∗ 𝑔)(𝑥) = ∑ 𝑔

(𝑥

− 𝑥, ∆(𝑥))𝑓

𝑔

(𝑦

, ∆(𝑥)) = ∑ ℎ(𝑦

, 𝑥̃

+ ∆

(𝑥))𝑊

∆

(

𝑥

)

𝐷

3 × 𝐾

ℒ

ℒ

∈ ℝ

ℒ

= ∑ ℒ

(𝑥) + ℒ

(𝑥)

ℒ

(𝑥) = ∑ min

(

‖𝑦

− (𝑥̃

+ ∆

(𝑥))‖

𝜎

)

ℒ

(𝑥) = ∑ ∑ ℎ(𝑥̃

+ ∆

(𝑥), 𝑥̃

+ ∆

(𝑥))

𝒫 ∈ ℝ

ℱ ∈ ℝ

𝔑 ∈ ⟦1, 𝑁⟧

𝑁

𝑁

𝑛

𝑛

𝔑

𝑗

𝑑𝑙

𝜎

= Σ × 𝑑𝑙

𝜎

𝑑

𝑟

𝑑

𝜌

𝑟

= 𝜌 × 𝑑𝑙

𝜌 = 5.0

𝛴

𝜌

𝐾 = 15 𝛴 = 1.0

𝜌 = 5.0

𝑑𝑙

𝑑𝑙

= 2 × 𝑑𝑙

𝐷

1 × 1

𝒫

ℱ

𝔑

𝒫

𝔑

𝑙 − 1

𝑙

𝒫

𝔑

𝔑 ∈ ⟦1, 𝑁⟧

𝑁

_𝑛

𝑛

𝑁

ℱ

ℱ

𝑁 + 1

𝑛

𝑛

𝑁

_{× 𝑛}

𝑛

𝑛

𝑛

𝑑𝑙

𝑑𝑙

= 0.02𝑚

100

10

0.5

0.1

10

𝑅

50 × 𝑑𝑙

𝑅

𝑑𝑙

𝑇𝑢𝑘𝑒𝑦(𝑑) = {(1 − (

𝑑

𝑑

)

)

𝑖𝑓 𝑑 ≤ 𝑑

0 𝑖𝑓 𝑑 > 𝑑

𝑑

𝑑

= 𝑅/3

𝑑

= 𝑅/3

10

[0, 2𝜋]

𝐾

109,000

6,800

(𝑥, 𝑦, 𝑧)

38,000

2,300

𝑑𝑙

= 6𝑐𝑚

𝑑𝑙

= 4𝑐𝑚

𝑅 =













RÉSUMÉ

Aujourd’hui, de nouvelles technologies permettent l’acquisition de scènes 3D volumineuses et précises sous la forme de nuages de points. Les nouvelles applications ouvertes par ces technologies, comme les véhicules autonomes ou la maintenance d'infrastructure, reposent sur un traitement efficace des nuages de points à grande échelle. Les méthodes d'apprentissage profond par convolution ne peuvent pas être utilisées directement avec des nuages de points. Dans le cas des images, les filtres convolutifs ont permis l’apprentissage de nouvelles représentations, jusqu’alors construites « à la main » dans les méthodes de vision par ordinateur plus anciennes. En suivant le même raisonnement, nous présentons dans cette thèse une étude des représentations construites « à la main » utilisées pour le traitement des nuages de points. Nous proposons ainsi plusieurs contributions, qui serviront de base à la conception d’une nouvelle représentation convolutive pour le traitement des nuages de points. Parmi elles, une nouvelle définition de voisinages sphériques multi-échelles, une comparaison avec les k plus proches voisins multi-échelles, une nouvelle stratégie d'apprentissage actif, la segmentation sémantique des nuages de points à grande échelle, et une étude de l'influence de la densité dans les représentations multi-échelles. En se basant sur ces contributions, nous introduisons la « Kernel Point Convolution » (KPConv), qui utilise des voisinages sphériques et un noyau défini par des points. Ces points jouent le même rôle que les pixels du noyau des convolutions en image. Nos réseaux convolutionnels surpassent les approches de segmentation sémantique de l’état de l’art dans presque toutes les situations. En plus de ces résultats probants, nous avons conçu KPConv avec une grande flexibilité et une version déformable. Pour conclure notre réflexion, nous proposons plusieurs éclairages sur les représentations que notre méthode est capable d'apprendre.

ABSTRACT

In the recent years, new technologies have allowed the acquisition of large and precise 3D scenes as point clouds. They have opened up new applications like self-driving vehicles or infrastructure monitoring that rely on efficient large scale point cloud processing. Convolutional deep learning methods cannot be directly used with point clouds. In the case of images, convolutional filters brought the ability to learn new representations, which were previously hand-crafted in older computer vision methods. Following the same line of thought, we present in this thesis a study of hand-crafted representations previously used for point cloud processing. We propose several contributions, to serve as basis for the design of a new convolutional representation for point cloud processing. They include a new definition of multiscale radius neighborhood, a comparison with multiscale k-nearest neighbors, a new active learning strategy, the semantic segmentation of large scale point clouds, and a study of the influence of density in multiscale representations. Following these contributions, we introduce the Kernel Point Convolution (KPConv), which uses radius neighborhoods and a set of kernel points to play the role of the kernel pixels in image convolution. Our convolutional networks outperform state-of-the-art semantic segmentation approaches in almost any situation. In addition to these strong results, we designed KPConv with a great flexibility and a deformable version. To conclude our argumentation, we propose several insights on the representations that our method is able to learn.

MOTS CLÉS

3D, apprentissage profond, nuage de points, convolution, sémantisation

KEYWORDS