Projeto de um descritor para o alinhamento de imagens de profundidade de superfícies com aplicação em visão robótica

Abstract

O processo de Reconstrução 3D de objetos a partir de imagens de profundidade compreende três fases: a) aquisição, na qual a superfície do objeto é digitalizada a partir de vários pontos de vista, gerando um conjunto de imagens de profundidade; b) registro, no qual uma transformação rígida M deve ser estimada para posicionar as imagens, par a par, em um único referencial; e c) combinação ou “matching”, na qual redundâncias entre vistas registradas são tratadas para construir um modelo 3D completo único. Na etapa de registro distinguem-se ainda duas etapas: pré-alinhamento e alinhamento fino. Na primeira, uma aproximação inicial de registro é estimada através da extração de pontos característicos correspondentes de duas imagens que ocupem a mesma posição no espaço do objeto e do cálculo de uma transformação rígida de forma que a distância quadrática entre os pares de pontos característicos correspondentes seja minimizada. Na segunda etapa, iterações são aplicadas sobre a transformação obtida para que os erros de alinhamento sejam minimizados. A fase de alinhamento fino é um problema resolvido, muito diferente da etapa de pré-alinhamento, cujo problema é o desconhecimento da correspondência entre as regiões de sobreposição; por tal motivo, a solução mais usual é escolher pontos que tenham alguma característica que os distingam do resto. Nesta tese propôs-se uma metodologia que está baseada na segmentação/reconstrução de imagens de profundidade fazendo uso da técnica de detecção de bordas aliada à técnica de agrupamento usando dizimação de malhas. A partir das bordas propõe-se um descritor de propriedades invariantes sob transformações de similaridade que incluem transformações de rotação, translação e escala uniforme como também robusto a ruído. Através do descritor proposto, são extraídos pontos correspondentes de ambas as imagens, e gera-se como valor de saída uma assinatura que se relaciona diretamente ao ponto considerando a disposição geométrica de sua vizinhança. A assinatura resultante atribui um rótulo ao ponto na imagem de profundidade, o que permite que, no processo de busca, seja aumentada a eficiência de correspondências, facilitando a identificação de possíveis zonas de sobreposição e reduzindo a ambiguidade no processo de busca. Odescritor foi avaliado com diferentes imagens e seus resultados foram comparados com os de outros autores com as mesmas imagens. Para verificar a validade das transformações candidatas, cada uma delas passa por um alinhamento fino, em que se avalia os erros de ajuste entre as duas imagens de profundidade através do algoritmo ICP (iterative closest point). A transformação que alinha o maior número de pontos é considerada a solução. Destaca-se que a principal contribuição deste trabalho é o desenvolvimento de uma técnica de pré-alinhamento e de sua integração com uma técnica de alinhamento fino, definindo de forma geral uma metodologia completa para registro e reconstrução de modelos tridimensionais de superfícies que tenham variação de curvatura suave em uma vizinhança, a partir de curvas de contorno 3D de variações geométricas nesta superfície. _______________________________________________________________________________ ABSTRACT

The process of reconstruction of 3D objects from range images consists of three steps: a) acquisition, in which the surface of the object is scanned from various points of view, generating n depth images; b) registration, in which a rigid transformation M must be estimated to locate images, pair by pair, in a single framework; c) matching, in which redundancies between registered views are processed to construct a single complete 3D model. Registration is further distinguished in two stages: pre-alignment and fine alignment. First, an initial approximation of the register is estimated by extracting the corresponding feature points from the two images that occupy the same position in the object space and the computation of a rigid transformation M so that the squared distance between pairs of corresponding feature points is minimized. In the second step, iterations are applied to the transformation obtained for alignment errors to be minimized. The fine alignment stage is a solved problem, very differently from the pre-alignment step, whose problem is the lack of correspondence between the overlap regions; therefore, the most common solution is to choose points that have some characteristics that distinguish them from the rest. This thesis proposes a methodology that is based on segmentation / reconstruction of depth images making use of an edge detection technique combined with a clustering technique using mesh decimation edges. From the edges it is proposed a descriptor which is invariant to similarity transformations including rotation, translation and uniform scale as also robust to noise. Through the proposed descriptor, n corresponding points from the two images are extracted, and a signature value is generated as output that is related directly to the point considering the geometrical distribution of its neighborhood. The resulting signature assigns a label to the point in the depth image, which allows that in the search process the efficiency of the correspondences is increased, facilitating the identification of possible areas of overlapping and reducing the ambiguity in the search process. The descriptor was evaluated with different images and their results were compared with those of other authors that used the same images. To verify the validity of the candidate transformations, each of which passes through a fine alignment, in which the fitting errors are evaluated between the two depth images by the ICP (iterative closest point) algorithm. The transformation that aligns the largest number of points is considered the solution. It is noteworthy that the main contribution of this work is the development of a technique for pre-alignment and its integration with a fine alignment technique, defining a complete methodology for registration and reconstruction of three-dimensional surface models, with smooth curvature variation in a neighborhood, from the curves of 3D contours. _______________________________________________________________________________ RESUMEN

El proceso de Reconstrucción 3D de objetos a partir de imágenes de profundidad comprende tres fases: a) adquisición, en la cual la superficie del objeto es digitalizada a partir de varios puntos de vista, generando un conjunto de imágenes de profundidad. b) registro, en la cual una transformación rígida M debe ser estimada para posicionar las imágenes, par a par, en un único marco referencial. c) combinación o “matching”, en la cual redundancias entre vistas registradas son tratadas para construir un modelo 3D completo único. En la etapa de registro se distinguen dos etapas: pre-alineamiento y alineamiento fino. En la primera, una aproximación inicial de registro es estimada a través da extracción de puntos característicos correspondientes en las dos imágenes, que ocupen la misma posición en el espacio del objeto y el cálculo de una transformación rígida M de forma que la distancia cuadrada entre los pares de puntos característicos correspondientes sea minimizada. En la segunda etapa, iteraciones son aplicadas sobre la transformación obtenida para que los errores de alineamiento sean minimizados. La fase de alineamiento fino es un problema resuelto, muy diferente a la etapa de pre-alineamiento, cuyo problema es el desconocimiento de la correspondencia entre las regiones de sobre posición; por tal motivo, la solución más usual es escoger puntos que tengan alguna característica que los distingan del resto. La fase de alineamiento fino es un problema resuelto, muy diferente a la etapa de pre-alineamiento, cuyo problema es el desconocimiento de la correspondencia entre las regiones de sobre posición; por tal motivo, la solución más usual es escoger puntos que tengan alguna característica que los distingan del resto. La propuesta deste trabajo es contribuir en la búsqueda de una solución más eficaz, tratando de superar inconvenientes que hacen que otros métodos fallen. En esta tesis se plantea una metodología que está basada en la segmentación/reconstrucción de imágenes de profundidad, utilizando la técnica de detección de bordas aliada a la técnica de agrupamiento de mallas. A partir de las bordas se propuso un descriptor de propiedades invariantes sobre transformaciones de semejanza que incluye transformaciones de rotación, translación y escala uniforme como también robusto al ruido. A través del descriptor propuesto, son extraídos puntos correspondientes de las dos imágenes, generando como valor de salida un código que lo relaciona directamente al punto considerando la disposición geométrica de su vecindad. El código resultante atribuye una etiqueta al punto de la imagen de profundidad, lo que permite que en el proceso de búsqueda, sea aumentada la eficiencia de correspondencias, facilitando la identificación de posibles zonas de superposición y reduciendo la ambigüedad en el proceso de búsqueda. El descriptor fue evaluado con diferentes imágenes y sus resultados fueron comparados con los resultados de otros autores usando las mismas imágenes. Para verificar la validad de las transformaciones candidatas, cada una de ellas pasó por un alineamiento fino, en que se evalúa los errores de ajuste entre las dos imágenes de profundidad a través del algoritmo ICP (iterative closest point). La transformación que alinee el mayor número de puntos es considerada la solución. Se destaca que la principal contribución deste trabajo es el desenvolvimiento de una técnica de pre-alineamiento y su integración con una técnica de alineamiento fino, definiendo de forma general una metodología completa para el registro y reconstrucción de modelos tridimensionales de superficies, con variación de curvatura suave en una vecindad, a partir de curvas de contornos 3D de variaciones geométricas en esta superfície.