가장 큰 오픈소스 자율주행차량 데이터셋 공개 - UC Berkeley BDD100K

최근 UC 버클리 인공 지능 연구 실험실 (BAIR)에서 BDD100K로 불리는 운전 데이터베이스를 공개했다. 아울러, 데이터셋 개발과 관련된 논문을 발표했다(Fisher Yu etc, 2018). 

개요
BDD100K 는 Berkeley Deep Drive의 약자로, 40초의 비디오 시퀀스, 720픽셀 해상도, 초당 30 프레임 고화질로 취득된 100,000개 비디오 시퀀스로 구성된다.
거친 주행 환경 구현, GPS 정보, IMU 데이터 및 타임 스탬프가 포함되어 있다. 녹화된 비디오는 비오는 날씨, 흐린 날씨, 맑은 날씨, 안개와 같은 다양한 날씨 조건이 기록되어 있다. 데이터 세트는 낮과 밤이 적절한 비율로 기록되어 있다.

이미지에 쉽게 주석 처리하기 위해, 수직 차선은 적색, 평행 차선은 청색으로 구분하였다. 적색 표시 있는 운전 경로와 청색 표시가 있는 대안 운전 경로로 주행 가능 구역을 구분한다.

Lane Marking

데이터셋은 버스, 신호등, 교통 표지, 사람, 자전거, 트럭, 모터, 자동차, 기차 및 라이더를 위해 100,000개 이미지에 주석이 달린 2D Bounding Box가 포함되어 있다.

Road Object Detection

이 데이터는 도로 / 포장 도로의 보행자 탐지를 위해 사용할 수도 있다. 이를 위해, 현재 데이터 세트에는 85,000개가 넘는 보행자 인스턴스가 있다.

이 데이터베이스는 차량용 컴퓨터 비전 및 기계 학습을 연구하기 위해, 현재 백만 대의 자동차, 300,000개가 넘는 도로 표지판, 130,000명의 보행자 등으로 구성된 Berkeley Deep Drive (BDD) Industry Consortium의 지원을 받고 있다. BDD100K는 거리에서 보행자를 감지하고 피하는 컴퓨터 비전 알고리즘 구현에 유용하다. 

참고로, Baidu는 이와 유사한 AppoloScape를 3월에 발표했습니다 . 버클리 데이터셋은 Baidu의 AppoloScape보다 800배 더 크며, Mapillary 데이터 세트보다 4,800배 더 크고, KITTI보다 8,000 배 더 크다.

데이터셋비교(Kirti Bakshi, 2018.9.24)

이 데이터 세트로 다음과 같은 작업이 가능하다.
1. 도로 객체 감지
2. 인스턴스 세그먼테이션
3. 운전 가능 지역
4. 차선 구분
5. 시멘틱 세그먼테이션 

인스턴스 세그먼테이션

데이터셋 다운로드 및 확인
데이터셋은 BDD 포털 사이트에 방문하여, 회원 가입 후 로긴하면, 다음과 같이 다운로드 할 수 있다. 

앞에서 설명된 바와 같이, 자율 주행 연구를 위한 비디오, 정보, 이미지, 라벨, 세그먼테이션 및 맵까지 얻을 수 있다. 

다운로드 해 보면, 학습용 데이터가 매우 잘 구조화되어 정리된 것을 확인할 수 있다. 이미지, 라벨, 세그먼트, 픽셀 맵은 상호 참조를 위해 16자리 GUID 이름을 가진다. 이름 자체가 파일명의 한 요소이며, 다음과 같은 형식이다. 

"name": "0000f77c-6257be58.jpg"

라벨은 json 파일 포맷이며, category, attributes, bounding box 가 다음과 같이 잘 정리되어 구분되어 있다. 훈련용 데이터셋은 1,941,237로 라벨링되어 있다.

라벨 데이터

주행 영역 세그먼테이션을 위해 아래와 같은 70,000개 훈련용, 10,000개 검증용 픽셀맵 파일도 제공하다.

주행 영역 맵

인스턴스 세그먼테이션은 7,000개 훈련용 데이터셋과 1,000개의 검증용 데이터셋을 제공하고 있다.

인스턴스 세그먼테이션 이미지 및 픽셀맵

마무리
앞서 설명한 바와 같이 데이터셋이 매우 방대하다. 라벨, 세그먼테이션, 맵 데이터가 딥러닝 모델 학습에 적합하도록 구조화되어 있어, 데이터 전처리 노가다 작업이 필요 없어 보인다. 유용하게 다양한 목적으로 활용가능해 보인다. 실제, 이 방대한 연구는 버클리, 조지아텍, Peking 대학, 우버 AI 랩과 함께 한 것이다. 논문은 딥러닝 기계학습의 허브가 된 이미지넷을 언급하고 있는 데, 이런 비전과 지속성 없이는 추진할 수 없는 연구다. 이제 견고한 데이터가 준비되었으니, 시간만 있다면, 다양한 자율차량 관련 기계학습, 시뮬레이션 등 다양한 연구를 할 수 있을 것이다.

Automatic Log Analysis using Deep Learning and AI for Microservices(Jagreet Kaur Gill, 2017, XENONSTACK) 

추신 - 논문은 코넬대에서 제공하는 무료열람 가능한 arXiv 에서 출판되었다. 그럼에도 불구하고 개인적으로 이 연구는 어느 SCI/E 논문 못지 않게 매우 훌륭한 결과물이라 생각한다. 

이 논문을 보면서, 국가에서 연구 독창성이나 영향력을 논문게재 건수, 발표건수, SCI/E 건수, SCI/E 저널 임팩트 팩터로 취합 계산하고 연구비를 주는 국내 연구 생태계가 떠오르지 않을 수 없다. 국내 연구는 수많은 아웃소싱과 행정 작업을 주요 업무로 시스템화한다. 

아이러니하게도 스스로 열심히 직접 느리지만 꾸준하게 핵심 기술을 연구하는 사람보다는 수와 양을 신속하게 아웃소싱으로 포장하는 사람이 더 성공한다(아웃소싱은 핵심기술이 아닌 일반적 반복적 업무나 부품만 사서 가져오는 것이다. 선진적 연구조직에서는 아웃소싱을 네트워킹, 융합이라 말하지 않는다). 선진적인 연구 자율성 보장, 지속적 연구 가능한 환경, 연구 책임과 평판이 함께하는 시스템이 부러울 수 밖에 없다. 스타트업과 연구에 불리한 다양한 밥그릇 규제들은 넘어야 할 또 다른 산이다. 이 문제는 쉽게 해결되기 어려운 구조적인 것이다. 전문가로서 자신을 브랜딩하려 노력하는 후배들을 생각할 때 참으로 안타까운 부분이다. 

레퍼런스

• Fisher Yu etc, 2018, BDD100K:  A Diverse Driving Video Database with Scalable Annotation Tooling, arXiv
• Kirti Bakshi, 2018.9.24, BDD100K: The Largest Open Sources Self-Driving Dataset from UC Berkeley!, TechLeer
• Berkeley, DeepDrive, http://bdd-data.berkeley.edu