인텔 랩은 블록케이드 랩(Blockade Labs)과 협력해 생성형 인공지능(AI)을 사용해 사실적인 3D 시각 콘텐츠를 제작하는 새로운 확산 모델인 LDM3D(Latent Diffusion Model for 3D)를 공개했다. LDM3D는 업계 최초로 확산 프로세스를 사용해 뎁스 맵(depth map)을 생성하며, 선명하고 몰입감 있는 360도 3D 이미지를 생성한다. LMD3D는 콘텐츠 제작, 메타버스 애플리케이션, 디지털 경험의 혁신을 통해 엔터테인먼트, 게임, 건축, 디자인에 이르기까지 다양한 산업을 바꿀 잠재력을 가지고 있다.

바스데브 라르(Vasudev Lal) 인텔 랩 인공지능/머신러닝 담당 과학자는 "생성형 AI 기술의 목표는 인간의 창의력을 더욱 향상시키며 시간을 절약하는 것이다. 그러나 오늘날 생성형 AI 모델은 대부분 2D 이미지 생성에 국한되어 있으며 텍스트로 3D 이미지를 생성할 수 있는 모델은 극소수에 불과하다”며 “기존의 잠재 안정 확산 모델과 달리 LDM3D를 사용하면 거의 동일한 수의 파라미터를 사용하여 주어진 텍스트 프롬프트에서 이미지와 뎁스 맵을 생성할 수 있다. 깊이 추정을 위한 표준 후처리 방법에 비해 이미지의 각 픽셀에 대해 더 정확한 상대적 깊이를 제공하며 개발자는 상당한 시간을 절약할 수 있다"고 말했다.

폐쇄적인 생태계에서는 확장이 제한될 수밖에 없다. 인텔은 개방형 생태계를 통해 더 많은 사람들이 AI의 혜택을 누릴 수 있도록 노력하고 있다. 최근 몇 년 간 상당한 발전을 이룬 분야 중 하나는 바로 컴퓨터 비전 분야, 특히 생성형 AI 분야이다. 다만, 현재 고급 생성형 AI 모델 중 상당수는 2D 이미지 생성에 국한되어 있다. 일반적으로 텍스트 프롬프트에서 2D RGB 이미지만 생성하는 기존 확산 모델과 달리, LDM3D를 사용하면 주어진 텍스트 프롬프트에서 이미지와 뎁스 맵 모두 생성할 수 있다. 잠재 안정 확산 모델과 거의 동일한 수의 파라미터를 사용하는 LDM3D는 깊이 추정을 위한 표준 포스트 프로세싱 방법 대비 이미지 각 픽셀에 대한 더욱 정확한 상대적 깊이를 제공한다.

해당 연구는 사용자가 이전에는 상상할 수 없던 방식으로 텍스트 프롬프트를 경험할 수 있게 함으로써 디지털 콘텐츠와 상호 작용하는 방식을 혁신적으로 바꿀 수 있다. LDM3D로 생성된 이미지와 뎁스 맵을 통해 사용자는 텍스트 묘사를 고요한 열대 해변, 현대적인 고층 빌딩 또는 공상 과학 세계의 설명을 360도 디테일한 파노라마로 전환할 수 있다. 방대한 정보를 포착할 수 있는 이 기능은 전반적인 사실감과 몰입감을 즉각적으로 향상시켜 엔터테인먼트, 게임, 인테리어 디자인, 부동산 목록은 물론 가상 박물관부터 몰입형 가상 현실(VR) 경험까지 다양한 산업 분야에서 혁신적인 애플리케이션을 구현할 수 있다.

인텔과 블로케이드 연구진은 LDM3D의 잠재력을 선보이기 위해 표준 2D RGB 사진과 뎁스 맵을 활용, 몰입감 높은 상호활동적인 360도 뷰 경험을 제작하는 뎁스퓨전(DepthFusion)을 개발했다. 뎁스퓨전은 실시간 멀티미디어 콘텐츠를 위한 노드 기반 시각적 프로그래밍 언어인 터치 디자이너(TouchDesigner)를 활용, 텍스트 프롬프트를 상호활동적이고 몰입감 있는 디지털 경험으로 전환한다. LDM3D 모델은 RGB 이미지와 뎁스 맵을 모두 생성하는 단일 모델로서 메모리 공간을 절약하고 지연 시간을 개선한다.

인텔은 오는 18일부터 22일까지 개최하는 IEEE/CVF 컴퓨터 비전 및 패턴 인식 컨퍼런스(CVPR)에서 해당 연구 결과에 대해 발표할 예정이다. LDM3D 데모 시연 영상은 링크에서 확인할 수 있다.

베타뉴스 신근호 기자 (danielbt@betanews.net)
Copyrights ⓒ BetaNews.net

• • 목록
  • 위로