DeepCAD: A Deep Generative Network for Computer-Aided Design Models

[JadeKim042386]

Paper

• Paper: DeepCAD: A Deep Generative Network for Computer-Aided Design Models

• Author: Rundi Wu, Chang Xiao, Changxi Zheng

• Link: Paper Link

Representation

• Link: 02.DeepCAD

• Reviewer : @GreenIdealist

[JadeKim042386]

이번 발표는 CAD Generation 도메인에서 많이 인용되며 새로운 3D CAD 데이터셋을 구축한 DeepCAD를 소개했습니다. 기존의 CAD Generation 을 위해 연구된 방법론들은 voxel, point cloud 등 editable 하지 않고 CAD 모델로 바로 생성하지 못하는 문제가 있었습니다. 이에 DeepCAD에서는 DSL을 사용하여 Command Sequence로 정의하여 학습시키고 추론하여 해결했습니다. 또한 실제로 스케치에 많이 사용되는 선, 원, 호와 3D 모델을 생성하기위해 사용되는 돌출(extrude)을 사용하여 문제를 단순화시켰습니다.
임베딩 과정에서 파라미터 부분에서 embedding layer와 linear layer를 결합하여 파라미터 간의 연관성을 학습시키는 부분인 인상적이었지만 command와 parameter 간의 연관성은 embedding 과정에서 할 필요는 없을까라는 의문이 들었습니다. 또한 a random vector froma multivariate Gaussian distribution 부분을 실제 구현된 코드에서 noise = torch.randn(self.batch_size, self.n_dim).cuda()로 구현되어있는 것을 보면서 '이렇게 구현해도 결과에 큰 차이는 없었던 걸까?'라는 궁금증을 자아냈습니다. 실제로 테스트해보며 결과를 비교해보면 좋을 것 같다는 생각을 했습니다. 발표 감사합니다.

[GreenIdealist]

이번 발표를 한 사람입니다. 이번 발표를 준비하면서, 처음 보는 사람도 이해할 수 있게 예시를 넣자는 목표로 작성하였습니다.
발표준비를 하면서, 3D 객체를 AI모델로 만드는 방법에 대해 여러 논문 링크를 첨부했다는 점이 좋았습니다. 그래서 3D Point Cloud 모델을 만드는 방법에 대해서 대표적인 논문을 살펴보았습니다. Matlab 프로그램으로 3D 모델을 만들어, 모델에 학습시킨다는 방법을 알았을 때, 논문을 보기전 제가 생각했던, 3D를 AI로 생성하는 방법과 다른 방법이라고 생각했습니다.
이 논문은 이런 기존에 만든 방법과 다르게, 새로운 방법을 제시하였습니다. Transformer 방법으로 CAD를 생성하기 위한 명령어와 순서를 정확하게 만들어 입력해서 CAD 프로그램 안에서 모델링을 생성한다는 점입니다. 이를 통해 기존 Point Cloud로 3D 모델을 만드는 방법과 똑같은 성능을 내지만, 모델은 매끄럽게 만들어진다는 점이 이 논문이 다른 3D 모델과 만드는 방법의 차이점이라고 말합니다.
이 방법을 보고 다른 프로그램에 응용할 수 있다고 생각했습니다. Unity, Unreal 프로그램 안에서도, 사각형, 원기둥, 그리고 합치기, 제외하기 등을 논문에서 제시한 명령어와 유사한 명령어가 있습니다. 이 프로그램 안에서 Transformer 모델을 활용하여 만들 수 있을거라 생각합니다. 제가 이에 대한 연구를 진행해보고 싶습니다. 논문에서 제시한 데이터셋 구축처럼 저도 데이터셋을 구축해서 배포하고 싶습니다.
다른 생각으로 DSL을 상용하여 Command Sequence를 정의하고 학습시켰습니다. 이 정의를 좀더 간소화하면 성능차이가 있을거라 생각합니다. 이 부분을 간소화하는 방법을 통해 성능 향상을 시킬 수 있을지 학습해볼 예정입니다.
논문의 전체적인 내용은 올해가 지나기전 직접 구현해 보면서, 코드를 한줄 한줄 이해하고 구현해보는 것이 목표입니다. 전체 코드를 이해하면, 다시 발표해 보고 싶습니다.