Local Feature

AbstractPTv1에서 사용한 group vector attention보다 더 효과적인 vector attention을 사용하였다.새로운 group weight encoding layer를 갖춘 group vector attention을 효과적으로 구현하였다.position encoding 방식을 수정하여 position information를 강화한다.새로운 partition-based pooling 방식을 제안한다.IntroductionPTv1은 self-attention network를 도입하였다.vector attention과 U-Net 스타일의 encoder-decoder를 결합하여 classification, part segmentation, semantic segmentation에서 좋은..

Abstractself-attention network는 NLP 모델이지만 CV에서도 많이 활용되는 범용성이 좋은 모델이다.Point Transformer는 3D point cloud 처리에 self-attention을 사용한다.이를 활용해서 classification, part segmentation, semantic segmentation을 수행한다.Introductionpoint cloud는 2D 이미지의 연산 방법에 대해 즉시 적용하는 것에 대한 한계점이 있다.따라서 3D 공간을 voxel화 하여 3Dcnn을 적용하거나 point cloud를 그대로 입력받고 계층적 구조를 도입한 PointNet, PointNet++모델이 연구되었고 point 간의 그래프를 형성하여 feature를 추출하는 DGC..

Introductionpoint cloud는 컴퓨터 그래픽스 분야에서 많이 사용되지만 topological information을 표현하는 기술은 발전되기 어렵다.topological : 물리적인 배치의 형태로 이루어진 현장의 종류 → point cloud의 point를 물리적인 배치의 형태로 표현하고 컴퓨터에 인식한다.PointNet++는 계층적 구조를 도입하여 local feature를 추출하려고 하였으나 point 간의 기하학적 관계를 무시하기 때문에 local feature를 포착하는데 한계를 가지고있다.EdgeConv라는 새로운 알고리즘을 제안하며 point와 이웃한 point의 관계를 설명하는 방법론 제시EdgeConv는 이웃의 순서에 대해 불변하기 때문에 permutation invaranc..

AbstractPointNet의 문제점Unordered한 point cloud의 특성을 해결하기 위해 permutation한 모델인 MLP layer를 사용하고 max pooling하여 전체적인 feature만 파악한다. 따라서 모델이 local feature에 대한 이해도가 낮다.해결방안CNN 방법을 사용하여 local feature를 추출하고 마지막에는 global feature를 추출한다.기여점PointNet이 local feature 추출에 대한 성능이 낮아서 이를 보완하였다.IntroductionCNNinput을 grid에 정의하여 multi-resolution 계층에 따른 점진적 scale 증가에 맞는 feature 추출가능PointNet++의 기본 원리는 point set을 겹치는 local..

Abstractpoint cloud는 3D 데이터 구조 중 하나이다. 하지만 point cloud는 형식이 불규칙하기 때문에 2D 이미지 처리 방식을 사용할 수 없다.2D 이미지 처리 방식을 사용하기 위해 voxel grid로 나누거나 랜더링한다.→ 용량이 커지고 feature가 사라지는 경우가 많다.point cloud만 직접 사용한 새로운 neural netword가 pointNet이다.입력의 점들에 대해 permutation invariance하다.여기서 permutation invariance는 input data를 어떤 순서로 받든지 output에는 영향을 끼치지 않아야 한다는 뜻이다. 대표적으로 MLP, CNN, RNN 계열 모델을 생각할 수 있다.Introduction전형적인 convolut..