몇달치 밀린 연구 행정일들을 대략 정리해 놓고, 잠시 손놓고 있었던 연구 레퍼런스들을 한꺼번에 정리하고 있습니다. 이 글은 Deep Learning 기반 Scan To BIM 관련 최근 기술 연구 동향을 간략히 공유해 봅니다.
개요
무인 자율 주행, 드론과 같이 비전이 필수적인 영역에서 3차원 스캔 이미지(점군, point cloud) 기반 비전 기술이 급격히 발전 하고 있습니다. 스캔 이미지는 다양한 소스에서 얻을 수 있죠.
- 카메라 RGB 센서
- LiDAR(Light Detection and Ranging)
- RGBD IR 카메라-적외선 센서
- Ultrasonic 등
모두 다른 기술을 사용하지만, 결국 3차원 점군을 얻게 되어 있습니다. 3차원 점군에서 다음과 같은 가치있는 정보를 얻을 수 있죠.
- 대상 객체의 정확한 거리, 위치, 크기
- 객체의 종류 구분
- 객체 형태
- 객체 속성
이 정보를 이용하면 다음과 같은 비니지스 가치를 얻을 수 있습니다.
- 무인 자율 주행 장애물 회피
- 유지관리 및 운영 자동화
- 에이전트 기반 서비스
- 물류 관리 자동화
- 스마트 팩토리
- 리노베이션
- 도시재생 및 재건축
- 농업
- 산림 및 환경 관리
- 디지털 트랜스포메이션 등
Scan To BIM은 3차원 스캔 이미지에서 BIM(Building Information Modeling) 객체를 맵핑하는 기술입니다. 건설 관점에서 보면, 결국 모든 스캔 데이터는 BIM으로 귀결될 것입니다.
기술
다음은 RGBD 센서를 이용해 사물을 인식하고, 그에 따른 적절한 동작을 자동화시키는 예제입니다. 인터페이스로 알렉사를 이용했어요.
아래는 딥러닝 기술을 이용해 점군에서 객체를 분류하는 PointNet을 발표한 사례입니다. 이 기술은 github에 오픈소스로 공유되어 있습니다.
참고로 PointNet을 이용하기 위해서는 우분투와 텐서플로우를 설치해야 합니다. 다음 영상은 이를 설치하는 방법입니다.
Scan To BIM 기술은 센서, 머신러닝의 발전과 확산되고 있는 오픈소스기술로 인해 앞으로 더욱 발전할 것입니다. 기술에 대한 좀 더 상세한 내용을 알고 싶으시면 아래 레퍼런스를 참고하시길 바랍니다.
레퍼런스 - 3차원 비전 및 머신러닝 오픈소스
레퍼런스 - 3차원 비전 및 머신러닝
- 밸로다인 VeloView
- 로버 기반 스캔
- 3D Machine Learning
- 3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks
- 3D Point Cloud Classification using Deep Learning – Recent Works
- PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation
- Open3D
- PointCNN
- Graph CNN 3D point cloud classification
- PointNet autoencoder
- Rubust Point Cloud Registration (ICP)
- PolyFit(curve fitting)
레퍼런스 - 딥러닝 프레임웍
댓글 없음:
댓글 쓰기