Durante a pesquisa sobre os trabalhos relacionados procuramos propostas que englo- bassem o foveamento e nuvem de pontos 3D. No entanto, não conseguimos encontrar tais tipos de propostas. Assim, nesta seção trazemos trabalhos contrastantes com o nosso tema, de modo que seja possível mostrar outros tipos de sensores, aplicações e estruturas de armazenamentos utilizadas.
Com a crescente demanda por reconstrução de cenas 3D de grande escala em apli- cações como o planejamento urbano e o mapeamento digital de cidades, Zhou et al. propôs um sistema de mapeamento móvel que adquirisse dados espaciais 3D em larga escala em (Zhou et al. 2014). Para isso eles utilizaram o Light Detection And Ranging (LiDAR), uma plataforma móvel e o Global Positioning System (GPS). O LiDAR, na pro- posta (Zhou et al. 2014), é usado para realizar varredura por linhas escaneando de baixo para cima, onde é transportado para fazer a aquisição dos dados 3D em resolução e ângulo predefinidos.
As linhas de varredura são compostas por um conjunto de pontos ordenados P, onde cada elemento desse conjunto de pontos é representado pelo sistema de coordenadas lo- cal que é definido modelando a Terra como uma esfera. Além do sistema de mapeamento móvel de Zhou et al, eles apresentam uma proposta de algoritmo de segmentação autoa- daptativo de agrupamento Euclidiano. Esse algoritmo tem dois estágios o primeiro deles é o de segmentação dos pontos de correspondência em relação ao solo e não-solo a partir dos dados de entrada fornecidos pelo LiDAR. Já o segundo é o agrupamento autoadapta- tivo que faz a separação dos objetos não-solo.
A primeira parte do algoritmo proposto em (Zhou et al. 2014) realiza a segmentação das linhas de varredura fazendo a detecção dos pontos que começam do solo, o ponto de partida é definido pela posição do LiDAR, a altura da plataforma do veículo, o conjunto de pontos da linha de varredura e um limiar de tolerância. Como a posição relativa entre o solo e o sistema do LiDAR pode mudar ao longo da linha de varredura devido à flutuação local do solo, isso pode causar imprecisão, assim eles lidam com essa situação calculando um ângulo θ entre os pontos que representam as coordenadas e o sistema de coordenadas local. Então é definida a sequência de detecção do fim do solo pela avaliação da angulação dos pontos vizinhos. E assim são detectadas as próximas sequências de pontos baseados nos pontos e coordenadas finais anteriores.
3.2. TRABALHOS COM NUVEM DE PONTOS 25
Já a segunda etapa do método é utilizada no agrupamento Euclidiano que segmenta os dados da NP em grupos separados a partir de um raio de limiar fixo para o método. No entanto, a proposta de Zhou et al. utiliza um limiar adaptativo que, inicialmente, utiliza um raio padrão e depois, de acordo com uma função linear adaptada que depende de um parâmetro de análise k1, k2 que é a mínima distância perceptível entre dois objetos e o
parâmetro L o tamanho dos agrupamentos (clusters).
Assim em (Zhou et al. 2014) os objetos não-solo podem ser separados e toda a seg- mentação pode ser completada. Isso possibilitou o mapeamento em larga escala utilizando nuvem de pontos.
As dificuldades no reconhecimento de objetos dinâmicos tridimensionais 3D espalha- dos num ambiente de trabalho de construção despertaram a atenção de Cho e Gai em (Cho & Gai 2014). Assim eles elaboraram uma estrutura de reconhecimento automático de ob- jetos dinâmicos e registro, projection-recognition-projection (PRP), com a finalidade de ajudar operadores de equipamentos pesados a perceberem, rapidamente, o ambiente de trabalho 3D em canteiros de obras. Para coletar dados em tempo real eles desenvolveram um sistema híbrido de detecção e varredura de luz (LiDAR).
Assim Cho e Gai montaram uma plataforma móvel, de modo que o sistema LiDAR pode mover-se em torno dos pontos cegos de equipamentos pesados como guindastes e auxiliar os operadores desses equipamentos através da transferência e apresentação dos dados da cena 3D em tempo real.
O framework (estrutura) PRP é a base do trabalho, pois ele é o que permite ajudar os operadores de máquinas pesadas. Esse framework é composto por um sistema de vídeo baseado no reconhecimento e rastreamento de objetos (VORT)6, um observador de alvos para digitalização e atualização inteligente e um modelo de registro CAD. No VORT, uma câmera de vídeo calibrada fornece uma sequência de imagens 2D de objetos em movimento. Caixas delimitadoras (boundaries box) únicas ou múltiplas são definidas automaticamente ou manualmente contendo alvos móveis específicos ou múltiplos, como materiais ou peças de equipamento da interface gráfica do utilizador (GUI).
Portanto, em (Cho & Gai 2014) foi possível implementar os reconhecimentos e os rastreamentos de objeto, de forma rápida baseado na visão com a transferência dos da- dos 3D através de uma rede local em tempo real. Assim melhorando a segurança e a produtividade das operações realizadas com os equipamentos de construção.
Nós decidimos observar outra vertente das nuvens de pontos 3D a forma de armaze- namento eficiente delas. Assim Cura et al. (Cura et al. 2016) está relacionado a este tema, assim tratando também de uma das possíveis aplicações da nossa proposta, a compacta- ção das nuvens de pontos, mais especificamente, em cena que tenham várias regiões ricas em features como veremos mais à frente.
Segundo Cura et al. (Cura et al. 2016), outra vertente das nuvens de pontos 3D é de como é feito o armazenamento dos dados, que por sua vez ocupa bastante espaço na memória. Além de todos os aspectos da sua gestão ser bastante complexo devido aos problemas de dimensionamento e especificidades desses tipos de dados. Para esse grande volume de dados a compressão é necessária e também para manter um acesso rápido à leitura, escrita e transparência para os utilizadores. Seguindo uma tendência mais ampla
26 CAPÍTULO 3. TRABALHOS RELACIONADOS
no mundo da Tecnologia da Informação (TI), os dados devem ser compartilhados isso necessariamente introduz problemas de simultaneidade7.
A natureza das nuvens de pontos pode ser de diferentes formas dependendo da fonte de aquisição, por exemplo, LiDAR, sensores de visão estéreo, equipamentos médicos, Mi- crosoft Kinect. Essas características podem ser: a maneira de armazenamento, disposição ou tipo de dados, a precisão geométrica, a capacidade guardar os pontos ou perturbações geradas por ruído externo. No entanto, basicamente as nuvens de pontos são geralmente dados geoespaciais que tornam elas semelhantes aos vetores e rasters8do mundo dos sis- temas de informação geográficos (GIS), de modo se sabe que as nuvens de pontos podem ser utilizadas conjuntamente com outros tipos de dados, conforme (Cura et al. 2016).
Sendo assim, Cura et al. propôs usar um servidor de nuvem de pontos (PCS) para re- solver alguns desses problemas em (Cura et al. 2016). A arquitetura do servidor proposto fornece perspectivas para metadados (meta-data), escalabilidade, concorrência9, uma in- terface padrão, uso cooperativo com outros dados GIS e um design rápido de métodos de processamento. Segundo os autores estes fatores acabam resultando numa compressão fácil, em filtragem, num nível de detalhamento (LOD), na cobertura, num processamento eficiente e na conversão.
Assim, a proposta de Cura et al. depende do PostgreSQL, RDBMS usando o servidor PostGIS e pgPointCloud. Sendo a ideia principal armazenar uma NP numa tabela no servidor com uma linha de armazenamento e um grupo de pontos comprimidos. Esses são os elementos básicos para o armazenamento e organização no PCS.
Uma das vantagens de usar o PCS é a oportunidade de não só armazenar nas nuvens de ponto, mas também a possibilidade de usar métodos para processá-la. De forma mais clássica que é o processamento fora da base (out-of-base), onde um cliente obtém os pon- tos, realiza alguma modificação e grava os resultados no servidor ou em outro lugar. E também o sistema oferece processamento na base in-base, onde o usuário adiciona direta- mente métodos de processamento dentro do PCS. Os métodos de processamento tornam- se muito próximos dos dados e podem ser reutilizados ou combinados para criar métodos mais complexos. Assim eles demonstraram as capacidades do PCS para prototipagem rá- pida de métodos de processamento na base. Propondo soluções para as necessidades dos usuários básicos de nuvem de pontos como: carregamento, armazenamento, filtragem, exportação e processamento de dados.
Dada essas três propostas podemos notar que cada uma contêm características espe- cíficas e distintas. No entanto, o que elas têm em comum é a busca por um sistema que consiga analisar ou carregar as informações de uma NP, convergindo para uma das nossas prioridades nesta proposta. Em (Cho & Gai 2014) foi possível demonstrar uma aplicação no campo industrial da NP, onde o framework PRP auxilia operadores de equipamento pesados. Por outro lado, em (Zhou et al. 2014) foi proposto um sistema de mapeamento móvel que permitia diferenciar o solo dos objetos não-solo tornando a aplicação mais eficaz. Além disso Zhou et al. propôs o aprimoramento do agrupamento Euclidiano, tornando-o adaptativo. Já um campo que, às vezes, é pouco visto, é o relacionado ao com-
7É o acesso de vários usuários simultaneamente lendo ou gravando os mesmos dados. 8São imagens que são descritas por pixels.
3.2. TRABALHOS COM NUVEM DE PONTOS 27
partilhamento e armazenamento eficaz das NPs que foi abordado por (Cura et al. 2016) que mostra uma outra perspectiva dos dados 3D que além de realizar o armazenamento também é possível processar as nuvens usando rotinas programadas.
Portanto, foi possível ver algumas áreas onde as nuvens de pontos são aplicáveis, tanto na parte teórica, quanto na aplicativa. Assim vemos que todos esses trabalhos têm como objetivo principal melhorar a eficiência de pesquisa, análise e utilização nas NPs.
28 CAPÍTULO 3. TRABALHOS RELACIONADOS T rabalho Relação Metodologia Conte xto Impl. (Tabernero et al. 1999) Multifoveamento Log-polar Reconstrução Softwar e (Camacho et al. 2002) Multifoveamento Pirâmide Gaussiana T rac king Softwar e (Rodríguez et al. 2002) Multifoveamento Cartesiana exponencial Atenção V isual Softwar e (Dhavale & Itti 2003) Multifoveamento Pirâmide Gaussiana Compressão Softwar e (Zhou et al. 2014) Nuvem de pontos Mapeamento Móv el Mapeamento Softwar e (Cho & Gai 2014) Nuvem de pontos PRP Reconhecimento Har dwar e (Cura et al. 2016) Nuvem de pontos Point Cloud Serv e Armazenamento Softwar e
Capítulo 4
Multifoveamento em nuvem de pontos
Junto com as imagens 2D e dados vetoriais, as nuvens de pontos ganharam maior disponibilidade, recentemente, podendo ser interpretada de várias formas dependendo do método utilizado. Assim, entendemos que todos os aspectos relacionados à gestão e análise das NPs é bastante complexo. Uma das grandes dificuldades encontradas nos trabalhos que usam dados 3D em tempo real é o volume a ser analisado de uma única só vez. Para esses tipos de problemas existem modelos de multirresolução que diminuem a quantidade de dados a serem computados permitindo realizar algumas tarefas de um modo mais rápido.
Dadas as complexidades nos ambientes e que a técnica de foveamento reduz o volume dos dados significativamente como visto em (Gonçalves et al. 2000, Segundo et al. 2005, Gomes et al. 2013, Gomes 2013, Gomes 2009, Medeiros 2016), escolhemos o modelo de multirresolução foveada para utilizar na nossa proposta.
No entanto, ao realizar esse tipo de abordagem foi notado que ao ocorrer um encontro entre duas estruturas foveadas ou mais, há geração de uma quantidade de pontos redun- dantes como visto na comparação entre resultados na Figura 5.10. Isso gera um processa- mento desnecessário, além de causar distorções na nuvem de pontos que comprometem o êxito dos processos a serem realizados.
Partindo do modelo NPF (Gomes et al. 2013) viemos com a proposta de usar o mul- tifoveamento. Ao aplicar o multifoveamento são geradas regiões de intersecção que atra- palham a eficácia dos resultados das tarefas. Assim sendo, a nossa proposta vem com o intuito de reduzir ou eliminar as redundâncias geradas pelas regiões de intersecção, permitindo todos os benefícios trazidos pela abordagem multifoveada.
Neste capítulo iremos abordar a problemática e a nossa proposta de solução, o modelo de multifoveamento em nuvem de pontos 3D (MFNP) e uma aplicação do modelo de multifoveamento no reconhecimento de objetos 3D que será usado nos experimentos de validação no Capítulo 5.
4.1
Região de interseção entre níveis
No processo de extração dos pontos keypoints no método NPF são especificadas as regiões onde deverão ser realizadas as extrações. Cada região é dada em função do nível k através de δk e Sk definidas nas Equações 2.6 e 2.7, respectivamente. Em (Gomes
30 CAPÍTULO 4. MULTIFOVEAMENTO EM NUVEM DE PONTOS
et al. 2013), o algoritmo proposto foi utilizado para reduzir os pontos através das equações de δk= (δx, δy, δz) e Sk= (Sxk, Syk, Szk), além de ser usado para extrair as features (ou
keypoints).
O modelo NPF secciona uma nuvem de pontos em m + 1 seções com densidades distintas. Considerando que esse método seja aplicado para n estruturas foveadas, todas com o mesmo número de níveis m + 1.
No entanto, para a nuvem de pontos a adição de vários pontos idênticos é permitido graças à estrutura de dados de armazenamento da NP, pois é basicamente uma lista de pontos e não pixels que têm seus valores definidos no dispositivo de exibição com apenas um valor por vez. Para simplificar esse aspecto da NP chamamos de espaço computaci- onal (virtual) a representação da região virtual 3D que tem a peculiaridade de permitir a existência de vários pontos iguais na cena, de forma que a quantidade de pontos é limi- tada pela memória disponível do sistema operacional ao qual o processo pertence. Já as imagens raster são limitadas por um formato padrão do dispositivo de aquisição ou pelo dispositivo de exibição.
Nesta proposta somos auxiliados pela teoria dos conjuntos para descrever e determinar as intersecções entre as regiões. Antes de realizar essa análise, definimos quatro conjuntos específicos: χv(i, j), Bi, j, U e R.
Os intervalos de operação (i.e., zonas de possíveis modificações) dos níveis das EFs no espaço computacional 3D é definido por χv(i, j) de acordo com a Equação 4.1, onde i
e j são os intervalos de valores que eles podem assumir i ∈ [0, 1, . . . , m] e j ∈ [1, 2, . . . , n] usados em Bi, j apresentado mais à frente e v é uma das componentes (x, y, z). A equação
χ(i, j) define os trechos de ação para cada componente do paralelepípedo relativo ao nível ida EF j.
χv(i, j) = vj+ δvi, j ≤ v ≤ vj+ δvi, j+ Svi, j, ∀ v ∈ (x, y, z) ∧ χv(i, j) ∈ R (4.1)
Cada um dos níveis determina um subconjunto de R3definido por Bi, jconforme Equa-
ção 4.2, onde i e j correspondem ao nível analisado e a estrutura foveada observada, respectivamente. Bi, j= ( (x, y, z) ∈ R3
[χx(i, j), χy(i, j), χz(i, j)] ∧ (x, y, z) /∈ m [ k=i+1 Bk, j ) i< m (x, y, z) ∈ R3
χx(i, j), χy(i, j), χz(i, j)
i= m
(4.2)
As regiões Bi, j são tais que obedecem à seguinte Equação 4.3 para f constante, vari-
ação dos i níveis e qualquer estrutura foveada. Elas são compostas pelo seus respectivos intervalos nos eixos cartesiano, que são expresso por χv(i, j) Equação 4.1 que define as se-
ções de atuação de cada região, quando observado os três eixos (x, y, z) formam o volume completo do referente nível.
4.1. REGIÃO DE INTERSEÇÃO ENTRE NÍVEIS 31
tante, podendo admitir os valores de j.
m \ i=0 Bi, f = /0 (4.3) Uf = m [ i=0 Bi, f (4.4)
Definimos U como o conjunto formado por finitas estruturas foveadas, onde cada uma dessas contém um número finito de níveis, conforme Equação 4.5.
U = n [ j=1 Uj= n [ j=1 m [ i=0 Bi, j (4.5)
No modelo NPF, para um determinado nível i da fóvea j, o fator de redução de den- sidade dié constante para todo o espaço Bi, j (cada um possui a sua densidade calculada,
conforme explicado na Seção 2.2.3). No entanto, trazendo para o multifoveamento, se duas ou mais seções foveadas de diferentes índices de níveis se interceptam, haverá re- giões para as quais diferentes fatores de redução serão aplicados, estabelecendo que essas estruturas sempre devem possuir as mesmas quantidades de níveis, já que a proposta foi definida para o caso das múltiplas EFs terem o mesmo número de níveis. A questão da densidade é importante, pois define como será avaliada a adição dos pontos nas estruturas foveadas.
A priori a homogeneidade de alguma região de uma estrutura foveada significa que a região não possui intersecção com níveis superiores1 ou não possui intersecção alguma, ou seja, toda a região de Bi, jtem redução de densidade igual ou inferior relativa àquele ní-
vel, considerando que a densidade da região já seja inferior a calculada não seria possível estabelecer a densidade definida pelo nível (e.g., uma região sem pontos).
As regiões que não estão envolvidas por uma estrutura foveada são desconsideradas como visto em (Gomes et al. 2013). Desse modo, dado que uma região é analisada quando ela é cercada por algum nível de qualquer EF, então uma região R não vazia só existe quando é subconjunto de Bi, j(i.e., R deve envolvida por qualquer nível). Podemos definir
se um nível de qualquer estrutura foveada é homogêneo ou não, através da Equação 4.6. Para simplificar usamos os termos ingleses even e odd que indicam uniformidade e desu- niformidade do nível, respectivamente. Assim, definimos a uniformidade de um nível de qualquer estrutura foveada como a função booleana DR(Bi, j), onde recebe apenas valores
lógicos. A função de uniformidade tem a finalidade de informar quais níveis das estru- turas foveadas são afetados pelas intersecções entre níveis em três casos que descrevem todas as possíveis situações de interesse.
32 CAPÍTULO 4. MULTIFOVEAMENTO EM NUVEM DE PONTOS DR(Bi, j) = even se R ∩ (U − Bk, f) = /0, ∀ R ⊆ Bi, j even se R ∩ n [ f=1, f 6= j i [ k=0 Bk, f = R, ∃ R ⊆ Bi, j, R 6= /0 odd se R ∩ n [ f=1, f 6= j m [ k=i + 1 Bk, f = R, ∃ R ⊆ Bi, j, R 6= /0 (4.6)
A Equação 4.6 é dividida em três termos, cada um focando num caso. Considerando um nível analisado i em uma estrutura foveada j é possível definir a uniformidade desta caixa (box) Bi, j. O primeiro caso descreve a uniformidade da caixa para a região R que
tem como sua intersecção o conjunto vazio /0 para todo o universo das caixas das estru- turas foveadas exceto o da caixa observada, ou seja, aquela região não possuí intersecção com nenhum nível de qualquer estrutura e é envolvida apenas pela caixa Bi, j. Já a se-
gunda situação descreve a uniformidade na caixa Bi, j quando há intersecção entre níveis
inferiores ou idênticos ao analisado em relação às estruturas distintas. No terceiro é visto que há desuniformidade quando ocorre interseção da região R com níveis de densidades superiores dado que estamos analisando e R ⊂ Bi, j, podemos notar que o terceiro termo
da Equação 4.6 é complemento da segunda situação. Assim sendo, ao ocorrer a desuni- formidade na função DR(Bi, j) os pontos que pertencem a região R não serão inseridos no
nível Bi, j para serem processados.
Nota-se que o segundo termo da Equação 4.6 permitiria a adição das regiões que pertençam aos níveis com mesmo índice, já que os anteriores seriam impedidos pela ve- rificação da terceira situação obedecendo a Equação 4.6. Assim sendo, se essa equação fosse aplicada haveria problemas de regiões coincidentes que seriam adicionadas várias vezes dependendo das disposições das estruturas, pois como já mencionado estamos tra- balhando com um espaço computacional onde esses dados redundantes são inseridos. De modo que a Equação 4.6 foi modificada para resolver esse tipo de problema, gerando a Equação 4.7 e um diagrama de operação de validação representado na Figura 4.1.
O diagrama de operação de validação das redundâncias no multifoveamento 3D é mostrado na Figura 4.1. Ele tem seu esquema dividido em n estruturas foveadas e m + 1 níveis. As verificações de um ponto da NP não nulo que pertençam a qualquer elemento de U são feitas pelas direções das setas. Assim, verifica-se se um ponto p pertence ao mesmo nível das estruturas foveadas anteriores ou a um nível mais elevado das estruturas suces- soras. Se for afirmativo o ponto não é adicionado ao nível da estrutura foveada observada Bi, j, caso contrário será adicionado. Este diagrama é a representação de como funciona
o algoritmo de tratamento de redundância desta proposta. Para cada ponto, a comple- xidade computacional tanto na verificação dos antecessores de mesmo nível quanto dos sucessores de níveis superiores é O(n).
A operação do tratamento de redundância é dada pela escolha de um ponto genérico pnão nulo de Bi, j (ou região R) na nuvem de pontos. Dado que estamos observando uma
4.1. REGIÃO DE INTERSEÇÃO ENTRE NÍVEIS 33
Figura 4.1: Representação do diagrama de operação de validação das redundâncias no multifoveamento 3D. Foram organizadas as estruturas foveadas nas colunas e enumeradas de F1 → Fn e seus respectivos níveis foram organizados em linhas enumerados de L0 → Lm. A direção da seta indica a partida e chegada da verificação do ponto.
feita no mesmo nível Lkdos antecessores da estrutura (estruturas que foram criadas ante-
riormente que vão de F1→ Fj−1), analisando se o ponto observado pertenceu a qualquer
um destes níveis anteriores. Já a segunda pesquisa é feita sobre os níveis Li+1 das es-
truturas foveadas sucessoras (estruturas que serão criadas indo de Fj→ Fn), dado que o
ponto observado pertença a alguns destes níveis mais elevados das EFs sucessoras. Se nenhum desses dois testes forem positivos, então o ponto p (ou região analisada R) será adicionado em Bi, j (a caixa analisada), isso é o que basicamente a função de adição de
pontos Ap(Bi, j) faz explicitado na Equação 4.7.
Ap(Bi, j) = 1 se p /∈ (U − Bi, j) 1 se p /∈ i−1 [ f=1 Bk, f ! ∧ p /∈ n [ f=i Bk+1, f ! 0 se p ∈ i−1 [ f=1 Bk, f ! ∨ p ∈ n [ f=i Bk+1, f ! (4.7)
Nota-se que a Equação 4.7 é uma modificação da Equação 4.6 para a simplificação da tarefa de seleção de pontos. Como já dissemos, a Equação 4.6 não é aplicável em nossa abordagem porque pode causar problemas computacionais. O primeiro deles seria
34 CAPÍTULO 4. MULTIFOVEAMENTO EM NUVEM DE PONTOS
o cruzamento por todas as estruturas geradas que é uma ação desnecessária causando