UV-Net: Learning from Boundary Representations

[JadeKim042386]

Paper

• Paper: UV-Net: Learning from Boundary Representations

• Author: Pradeep Kumar Jayaraman, Aditya Sanghi, Joseph G. Lambourne, Karl D.D. Willis, Thomas Davies, Hooman Shayani, Nigel Morris

• Link: Paper Link

Representation

• Link: UV-Net

• Reviewer : @JadeKim042386

SolidLetters Dataset Example

{'graph': Graph(num_nodes=32, num_edges=206,
      ndata_schemes={'x': Scheme(shape=(10, 10, 7), dtype=torch.float32)}
      edata_schemes={'x': Scheme(shape=(10, 6), dtype=torch.float32)}), 'filename': 'a_ABeeZee_lower', 'label': tensor([0])}

{'graph': Graph(num_nodes=44, num_edges=250,
      ndata_schemes={'x': Scheme(shape=(10, 10, 7), dtype=torch.float32)}
      edata_schemes={'x': Scheme(shape=(10, 6), dtype=torch.float32)}), 'filename': 'a_Abhaya Libre Medium_upper', 'label': tensor([0])}

• num_nodes: node 갯수
• num_edges: edge 갯수
• ndata: num_nodes x ndata_schemes의 shape(e.g. 10 x 10 x 7)을 가지는 tensor
• edata: num_edges x edata_schemes의 shape(e.g. 10 x 6)을 가지는 tensor

[jeongHwarr]

UV-NET은 B-rep 데이터 포맷에 직접 적용할 수 있도록 설계한 새로운 딥러닝 아키텍처입니다.

본 논문의 contribution은 아래와 같습니다.

1. B-rep 데이터 포맷에 직접 적용할 수 있는 딥러닝 구조 설계
2. 기하학적 및 위상적 변이를 포함한 균형 잡힌 합성 데이터셋인 SolidLetters 공개

기본적인 알고리즘은 curve geometry를 인코딩할 수 있는 1D CNN과 surface geometry를 인코딩할 수 있는 2D CNN을 이용하고, 이를 그래프 구조로 표현하여 메시지 패싱 기반의 GNN에 넣어 전체 CAD 모델에 대한 정보를 인코딩 합니다. 이를 이용해서 3D shape classifiaction과 segmentation 등에 사용합니다.

CAD에서 널리 쓰인다는 B-rep 데이터 포맷에 대한 선행 지식이 없어서 이해가 어려웠습니다. B-rep에서 사용되는 curve geometry와 surface geometry에 대한 이해가 있어야 논문의 내용이 이해되었던 것 같습니다. Curve geometry를 파라미터 1개로 curve를 모델링할 수 있어서 1D 구조로 3D 좌표를 표현할 수 있고, surface geometry를 파라미터 2개로 무한한 평면을 모델링할 수 있어서 2D 구조로 3D 좌표를 표현할 수 있습니다. 여기서 surface geometry의 경우 무한한 평면이기 때문에 visible 영역을 따로 설정할 수 있는 마스크가 필요합니다.

개인적으로는 논문이 발표된 지 시간이 많이 지났음에도 불구하고 매우 완성도 높게 작성된 연구라고 생각했습니다. (다운스트림 태스크에 대한 설명은 빈약해서 그 부분은 좀 아쉬웠습니다!)
B-rep 도메인 지식을 기존의 딥러닝 구조와 자연스럽게 접목시킨 점이 인상적이었고 단순한 결합이 아니라 B-rep 모델링의 개념을 딥러닝적 관점에서 해석하고 구현한 점이 인상 깊었습니다.

[JadeKim042386]

이번 발표는 B-rep(representation)에서의 각 face와 edge에 포함된 parametric surface와 curve를 regular UV-grid로 표현하고, CNN과 GNN 구조를 가지는 UV-Net을 발표했습니다. 일반적인 geometric representation(point cloud, octree, triangle meshes 등)은 deep learning을 위한 feature extraction을 다루지 못하였고, 이전 연구들에서는 B-rep을 face-adjacency graph로 변환하는 method에서 generalize가 어렵거나 planar face에서만 동작하는 한계가 있었습니다. 하지만 UV-Net에서는 face를 표현하는 vertices(V)와 face간의 연결을 나타내는 edges(E)를 정의하여 face-adjacency graph를 만들고, 이 안에 포함된 parametric surface와 curve를 1D/2D UV-grid에 표현하여 CNN으로부터 feature를 추출하는 방식을 적용했습니다. 그리고 추출된 feature를 GNN의 edge와 node로 다루어졌습니다.

실제 SolidLetters 데이터셋에서는 이미 curve와 surface geometry를 UV-grid로 표현된 상태였지만 solid_to_graph.py에서 solid 모델을 UV-grid로 표현하는 과정을 코드로 확인해볼 수 있었습니다.

아쉬웠던 부분은 아직 연구가 부족했던 분야였던 이유도 있겠지만 decoder의 부재와 downstream task가 classification, segmentation만 진행되었던 것(self-supervised도 있지만)이 UV-grid 표현 방식의 한계라고 느꼈습니다.

발표에서 Experiments부터의 리뷰와 Input representation부분의 이해 부족이 있어서 다음 발표에는 신경써서 보완하도록 하겠습니다.

[GreenIdealist]

UV-NET에 포함된 CNN 구조에 대해서 최근 아키텍처와 코드로 어떻게 나타나는지에 대한 공부가 진행중입니다.
그래서 과거 발표에 진행된 잠재공간과 잠재백터가 vae 구조에서 인코딩과 디코딩하기 위한 방법이 어떤 의미가 있는지 최근 알게되었습니다. CNN 구조에서 입력값 그리고 은닉층, 풀링의 의미, 출력값이 어떤 의미를 가지는지 파악되면서, 최근 발표에서 그래프가 어떤 의미가 있는지 파악되기 시작해서 새롭다고 생각합니다.

기존 논문은 B-rep로 만들어진 데이터를 3D 데이터로 변환합니다. 하지만, 이런 과정에서 정보가 손실되거나, 누락되는 문제가 발생하여 이런 B-rep 데이터를 딥러닝 모델에 직접 학습시키는 방향을 제시한 것이 이 논문의 시작이라 생각됩니다.

본 논문에서 B-rep는 면, 모서리를 표현한 것이라고 알고 있습니다.
면의 UV-grid를 2d CNN으로 처리하였고,
모서리 UV-grid는 1d CNN으로 처리하였습니다.

이것을 GNN으로 면과 모서리의 관계를 만들어낸 모델을 UV-Net이라는 모델로 제안한 거 같습니다. GNN이 더이상 구글에서 업데이트를 하지 않는다고 들었습니다. 이를 활용하여 이와 같은 결과를 만든것이 흥미로운 연구였습니다.

B-rep 데이터를 직접 학습하고 이것을 활용한다는 점은 한 번쯤 생각해봤는데, 이 논문에서 구현한 점이 아이디어에서 실전에 표현했다는 점이 높은 점수를 주고 싶습니다.