2024년 1월 23일 화요일

건설 AEC 분야 생성 AI 기술 연구 및 개발 트랜드

이 글은 건설 분야 생성 AI 최신 연구 트랜드를 간략히 나눔한다. AEC(Architecture, Engineering and Construction)분야에서는 Gen AI은 아직 초기단계이나, 관련 업계에서는 뜨거운 관심을 받고 있다. 최근 AEC분야도 Gen AI의 영향력을 보여주는 연구들이 진행되고 있다. 이런 상황에서, 2024년도에는 Gen AI를 이용한 서비스가 AEC 분야에서 유명한 플랫폼 개발사 (Autodesk, Bentley, Trimble 등)에서 출시되리라 예상된다. 이런 관점에서 Gen AI 연구 동향을 간략히 나눔해 본다. 
이 조사를 위해, Google Scholar에 Generative AI Construction AEC LLM 키워드로 검색해, 주요 연구 내용을 확인해 보았다. 다음 내용은 그 결과를 정리한 것이다. 
 
AEC Gen AI 기술 트랜드 조사
AEC 분야 디지털 자동화 기술 저널인 automation in construction 의 최신 논문 중 하나인 'Generative AI design for buliding structures' 이 있다. 이 논문은 건축 구조 설계시 생성 AI (Gen AI)를 이용한 방법을 조사(Web of Science Core Collection), 탐구한다. Gen AI의 최근 연구와 동향을 분석하고, 데이터 표현 방법, 알고리즘 등을 분석해 비교 검토한다. 

기존 연구는 GAN, GNN(Graph based NN), VAE(Variational Autoencoder), ANN을 이용해, 각각 도면 이미지, 디자인 벡터 공간 표현, 파라메터 학습을 실행한다. 이외, CNN, LSTM등을 이용해 Generative Design에 필요한 파라메터를 제공하는 연구가 수행되었다. 강화학습을 이용해, 철근콘크리트 최적 설계를 수행한 연구도 있었다. 

생성 AI기반 건물 구조 설계(Feng et al, 2023, Construction bidding case study using generative intelligent structural design)

전단벽 레이아웃 설계 연구 사례는 생성 AI 사용시 기존 방법보다 10-15배 생산성 향상을 보였다(Feng et al). 철골 구조물 단면 치수 생성을 위해, GNN, NeuralSim, NeuralSizer등을 사용한 연구가 있었다.

아울러, Gen AI 적용 수준의 명확성을 위해, CMM과 유사한 레벨을 정의하였다. 

이 연구는 Gen AI의 엔지니어링 분야 적용 시 문제 해결 과제를 1) 제한된 훈련 데이터 2) 희소한 특징 학습 3) 다중 제약 조건 4) 복잡한 표현 5) 엄격한 품질 지표 6) 신뢰성을 꼽았다.

현재 개발된 LLM 모델은 특정 분야에 전문적인 결과물을 생성할 때 정확도가 낮을 수 있다. 건설은 80%정도가 비정형 도메인 전문적인 자료를 기반으로 관리된다. 이런 이유는 LLM을 바로 건설분야에 응용하는 데 챌린지다. 이 논문은 CMS(construction management system) 구현 시 이런 장애요인을 극복하기 위해, 건설분야에 특화된 말뭉치(corpora)를 별도 구축하여, 이를 BERT로 학습한 후, 기존 모델과 비교해, 문서의 의미를 얼마나 정확히 예측하는 지, TC(Text classification), NER(Named entituy recoginition) 정확도 제시한다. 

이 연구에서 말뭉치를 개발하기 위해, 기존 건설 규정 관련 PDF파일을 이용해, 데이터 수집, 중복 텍스트 삭제, 문장 정리한 후, BERT 사전훈련 학습모델을 파인튜닝하였다. 

말뭉치 개발 과정은 다음과 같다. 

    1. PDF를 텍스트: Adobe Automation을 사용하여 PDF 파일을 일반 텍스트로 자동 변환한다.
    2. URL 제거: 실질적인 콘텐츠를 제공하지 않을 수 있는 웹사이트 링크를 제외한다.
    3. 언어 필터: 단락 수준에서 영어 텍스트만 유지하고 인식할 수 없는 문자와 영어가 아닌 콘텐츠는 버린다.
    4. 문장 분할: 단락을 별개의 문장으로 나누고 끝 문장 부호가 없는 단락을 제거한다.
    5. 짧은 문장 필터: 수식과 표의 흔적을 제거하기 위해 매우 짧은 문장을 제거한다.
    6. 참고 문헌 필터링: 문맥이 풍부한 콘텐츠에 초점을 맞추기 위해 논문 내에서 참고 문헌을 제외한다. 참조가 있거나 없는 두 개의 데이터 세트가 생성되었다.
    7. 중복 제거: 중복을 제거하여 각 문장의 고유성을 보장한다.
정리 후 원래 데이터 세트에 있는 단어의 약 5%가 제거되었다. 참조 필터링 과정에서 단어 수가 추가로 20% 감소하는 것이 관찰되었다.

TC와 NER를 위해, 말뭉치는 적절히 라벨링되어, BERT모델에 제공된다 

개발 결과는 정확도 F1=5.9% 개선되었으며(참고), 상세는 다음과 같다. 


이 연구는 일부 연구 내용을 github에 공개하였다(*주. 건설 분야에서 본인의 기술 개발 결과를 일부라도 공개하는 경우는 매우 드물다). 그럼에도 불구하고, 실제로 공개된 것은 PDF를 전처리한 텍스트 데이터 정도라 아쉬움이 있다. 

github에 공개된 연구 데이터 일부

스테이블 디퓨전을 이용해 다중 컨디션이 가능한 거주자 평면도를 생성하는 연구가 있었다. 이 연구는 조건에 따른 데이터 생성을 위한 데이터셋을 구축하고, 이를 스테이블 디퓨전 모델로 학습하는 과정을 제시하였다. 

GPT 3.5+ 버전의 OPEN API를 이용해, BIM과 접목하는 방법론과 프레임웍을 개발한 거의 최초 연구이다. 스텐포트 CIFE 센터 마틴피셔 교수 연구팀이 개발에 참여했다.

BIM 데이터베이스의 효과적인 검색 방법 연구는 BIM QUERY 등 다양하게 진행되어 왔다. 이 논문은 GPT를 이용한다. 이를 위해, 프롬프트 엔지니어링을 위한 BIM GPT 프레임웍을 제안한다. QA 시나리오를 준비하고, BIM GPT 수행 후 비교할 성능 지표를 계산한다. 

BIM GPT 프레임웍 및 프롬프트 시나리오

연구 결과 성능 테스트 목표 준비

 이 연구에서 준비한 QA 시나리오는 다음과 같다.

  • 주어진 BIM 모델에서 펌프 객체를 확인
  • 확인된 객체의 속성 리스트 항목 10개까지 확인 
  • 리스트에서 14569값을 가진 펌프 ID 검색 
  • 해당 펌프가 있는 위치 검색. 예. 'The manufacturer of pump 14569 is PACO. It is located in room 06-470 on level 6 and is part of the hydronic return and power systems.'
  • 해당 위치를 VA(Virtual Assistant)에 의해 사용자에게 보여줌 
연구 결과 성능은 제로샷(Zero shot), 퓨샷(Few shot)으로 테스트되어, confusion matric로 예측 정확도를 계산해 표현되었다. 연구 결과 시스템+DB+TASK+FEW 으로 진행된 방식이 직접 사람이 입력하는 프롬프트 방식에 비해 성능이 뛰어남(제로샷=83.5%, 퓨샷=99.5 정확도)을 보여준다. 

현실적인 실용가능성을 확인하기 위해, Autodesk Forge, MongoDB, ChatGPT API를 이용하여 다음과 같은 VA(Virtual Assistant) 프로로타입을 개발하고, 여러 조건에 따른 답변 예측 정확도를 논의한다.

BIM GPT 프로토타입 시스템 구현 결과
이 연구는 LLM을 이용해, IFC에서 원하는 정보를 찾는 함수로 질의를 맵핑하는 방법을 보여준다. 이 연구는 LLAMA2, IFCOPENSHELL을 이용해, 질의 정보를 함수 코드로 변환한다. 

 

이 연구는 LLM(Large Language Model. 대형언어모델) 조사 필요성을 강조하고, GenAI의 잠재적 기회와 과제를 확인한다. 방법론은 Google Scholar에서 검색 키워드로 검토를 수행한 후, 클러스터링한다. Linkedin에서 전문가 글을 조사하고, 관련 키워드와 의견을 식별한다. 이를 통해, 워드 클라우드 분석, 빈도 분석 등을 텍스트 마이닝 기술을 이용해, 개념적 프레임웍을 설계하고 제안하였다. 이 논문은 최초에 GAN부터 시작한 기술발전의 역사를 간략히 따라간다. 

LLM 개념 프레임웍

이 연구는 활용할 수 있는 사례보다는 도전과제인 도메인 지식 부족 문제, 환각, 일반화 문제 등을 도출하였다.

이 글은 연구는 아니나, 전반적으로 Gen AI의 활용 사례를 소개하고 있다. 이 글은 디자인 개선, 프로젝트 일정 및 계획, 비용 수량 견적, 부지 선정 및 분석, 안전 계획 수립, 건설 재료 선택, 에너지 효율 최적화, 장비 유지보수, 리스크 관리, 환경영향평가, 품질관리, 측량 및 조사, 계약 문서 검토 및 문서화 등에 영향을 미칠 수 있음을 언급한다. 

이 글은 Gen AI와 블록체인 기술에 대한 잠재력을 다룬다. 블록체인은 데이터 신뢰성을 확보할 수 있다. 스마트계약 등의 기반 인프라로 사용된다. 그러므로, 계약을 생성할 때, LLM은 많은 사례를 바탕으로, 계약을 검증하거나, 템플릿을 생성하는 보조 수단 등으로 사용될 수 있다.

이 글은 ChatGPT와 같은 Gen AI 기술을 이용해 건설 산업을 통합하는 방법을 탐구한다. 조사 방식은 앞의 사례와 유사하다.

이 글도 앞의 조사와 비슷한 연구이다. 다만,  에너지 최적화와 같은 건물 최적 설계에 좀 더 집중해, Gen AI 방법론을 탐구한다. 안전 체크와 같은 사례는 LangChain과 같은 프롬프트 체인과 기존 모니터링 시스템을 연계한 어플리케이션 수행 플로우차트를 제시한다. 

 

ChatGPT 기반 견적 모델 

ChatGPT 기반 안전 모니터링
에너지 최적화 기반 건설 건축물 설계

이 글도 앞서 조사된 연구 방법론과 유사하게 수행된다. 이 연구는 BIM 협업에 초점을 맞춰서, GPT를 사용해 문제를 해결할 수 있는 방법론 조사에 초점을 맞춘다.

GPT / Bard 기반 건설 센서 데이터 기반 의사결정 지원

이 연구는 건설산업에서 LLM에 대한 연구 전망을 제시한다. 이 연구는 문헌검토, 델파이 설문조사를 통한 비판적 검토, 전문가 토론 및 사례 연구 순서로 진행된다. 전문가는 최소 10년 이상 경력을 가진 도메인 실무자 7명이 선정된다. 문헌 조사에서는 BIM-GPT 연구(BIM정보 검색, 2023), RoboGPT(로봇기반 조립에서 시퀀스 생성), 건설 작업 일정 생성, 위험 인식 등만 분석된다. BIM-GPT 연구에서는 ChatGPT에서 이해하기 쉬운 JSON형식을 사용하였으며, 이를 위해, BIM에서 객체 속성을 추출하고, MongoDB에 저장하여, 이를 ChatGPT API에 제공하는 방식을 사용하였다. 나머지 연구는 텍스트 프롬프트만 사용되었다. 

이 연구는 ChatGPT가 학습된 문서와 데이터를 기반으로 한 전문가로써 활용될 수 있음을 설명한다. 예를 들어, 수많은 계약 서류 분쟁 항목 자동 확인 및 제안, 규정 준수, 환경영향평가, 안전 및 폐기물 관리 위험항목 확인 등이 그것이다.   

이 연구는 ChatGPT와 연계된 디지털트윈 프로토타입을 구현한다. 이 프로토타입의 목적은 프롬프트에 의해 에너지 효율적인 벽체 물성을 제안하도록 하고, 이를 기반으로 불합리적으로 설계된 부분을 찾아서, 사용자에게 해당 BIM 요소를 보여주거나, 반대로, BIM 속성을 이용해, 취약한 부분을 제안해 주는 것이 가능함을 보이는 목적이다. 이 개발을 위해, Autodesk Forge, MongoDB, ChatGPT API, Python 등이 사용되었다. 

이 연구는 ChatGPT API와 프롬프트 엔지니어링을 내장해 개발된 시스템을 통해, 기존 BIM 모델을 열 성능 표준을 만족하는 외벽으로 업데이트하는 방법과 프로토타입을 보여준다. 이 연구는 앞서 사용한 기술에 Revit API를 이용한 플러그인을 통해, 생성된 벽체 물성 JSON 파일을 받아, 벽체의 상세 속성을 갱신하여, 이를 구현한다. 

벽체 최적설계 흐름도

  • 기타 연구 

기타 다음과 같은 연구가 있었다. 

이 연구는 AEC 분야를 혁신하기 위해, 딥러닝 기반 컴퓨터 비전 기술 중 킬러 기술인 YOLO 등을 살펴보고, Gen AI와 같은 트랜드를 탐구한다. 

이 연구는 2018년 이후로 퍼지기 시작한 LLM에 대해 언급하고, 전문가 토론을 통해, 이기술을 통한 건설 분야의 기회, 챌린지를 확인한다. 

 

생성 AI 오픈소스 기술 및 도구

앞서 조사한 연구들은 대부분 Gen AI 오픈소스나 ChatGPT에서 제공하는 API를 사용한다. 이와 관련된 도구들은 다음과 같다.

이외에도 매우 많은 유명한 도구들이 있다. 특히, Huggingface에서는 이런 도구들을 오픈소스로 배포하고 있으므로, 관련 라이브러리를 참고하면 개발을 쉽게 할 수 있다.

마무리

현재 시점의 최신 AEC Gen AI 연구 동향은 다음과 같다.

  • AEC 활용 관점에서 Gen AI의 기술, 방법, 잠재력, 도전과제 조사 
  • 프롬프트 엔지니어링을 이용한 가능성 제시 (예. 건설 문서 검토, 생성 등)
  • ChatGPT API 등을 활용한 프로토타입을 통한 가능성 제시 (예. BIM 질의 및 일부 속성 생성)
아직, 초기단계이며, 관련 연구가 많지 않다. AEC분야에서는 Gen AI를 내재화하지 못한 상황이다. 하지만, 앞으로 이와 관련된 연구는 더욱 많아질 것이라 예상한다. 특히, 2024년도 중에 Gen AI를 이용한 기능 및 서비스가 AEC 분야에서 유명한 플랫폼 개발사 (Autodesk, Bentley, Trimble 등)에서 출시되리라 예상한다. 

레퍼런스

시간:
라벨:

댓글 없음:

댓글 쓰기

피드 구독하기: 댓글 (Atom)

10 Construction Robots Finding Success, Making Job Sites Safer for the Humans

레퍼런스 10 Construction Robots Finding Success, Making Job Sites Safer for the Humans - BuiltWorlds

  • 2023년 하반기 해외 스마트건설 및 BIM 기술 트랜드
    디지털 트랜스포메이션 시대에서 스마트 건설 솔루션은 인프라 분야의 게임 체인저가 되고 있다. 스마트 건설 솔루션은 인공 지능(AI), 사물 인터넷(IoT), 디지털트윈, 3D 스캔과 비전 기술, 로보틱스, 빌딩 정보 모델링(BIM)과 같은 첨단 기술을...
  • 해외 선진국 인프라 디지털트윈 연구개발 사례 소개
    이 글은 최근 해외 선진국 인프라 디지털트윈 연구개발 사례에 대한 간략한 소개이다. 머리말 건물정보모델링(BIM)을 통해 조직은 자산의 디지털 표현을 생성하고 정보를 관리할 수 있다. 이 기술은 잘 활용하기에 따라 프로젝트의 설계 및 건설 단계에 새로...
  • 디지털트윈 컨소시엄, 디지털트윈 정의언어와 리얼리티 캡쳐 기술 소개
    이 글은 디지털트윈 컨소시엄, 디지털트윈 기술언어 및 리얼리티 캡쳐 기술을 간단히 소개한다. 디지털트윈 컨소시엄(DTC)은 디지털트윈 기술을 발굴하고, 적용하기 위해 노력하는 해외 산학연 연합체이다. DTC는 2020년 5월 Ansys, Autodes...