엔비디아의 3D 그래픽 구현 생성형 AI모델 '라떼 3D'

※ ITWorld 기사자료입니다. 

■ 엔비디아, 3D 그래픽 구현 생성형 AI모델 '라떼3D' 공개 - 2024년3월

엔비디아가 단 몇 초 만에 텍스트를 3D 그래픽으로 변환하는 생성형 AI 모델 '라떼3D'를 공개했습니다. 라떼 3D는 Large-scale Amortized Text-To-Enhanced3D Synthesis, LATTE3D 입니다. 

 

라떼3D는 가상3D 프린터처럼 텍스트 프롬프트를 1초 안에 사물과 동물의 3D 그래픽으로 변환할 수 있습니다. 라떼 3D는 표준 렌더링 애플리케이션에 널리 사용되는 포맷으로 제작되었습니다. 비디오게임, 광고캠페인, 디자인프로젝트 또는 로보틱스용 가상 훈련장 개발 등을 위한 가상환경을 쉽게 구현할 수 있습니다. 

 

■ 단일 GPU에서 추론을 실행하면 거의 즉각적으로 3D 형상 생성

1년 전만해도 AI 모델이 동일 품질의 3D 비주얼을 생성하는 데 1시간이 걸렸지만, 이제는 10~12초면 충분하다고 합니다. 훨씬 더 빠른 속도로 결과를 생성할 수 있게 되면서 업계 전반의 크리에이터들이 거의 실시간으로 텍스트를 3D로 생성할 수 있게 되었습니다. 이런 발전으로 라떼 3D는 엔비디아 리서치 데모에 사용된 엔비디아 RTX A6000과 같은 단일 GPU에서 추론을 실행할 때 거의 즉각적으로 3D 형상을 생성할 수 있다고 합니다. 

 

■ 각 텍스트 프롬프트에 따라 몇가지 다른 3D 옵션 생성

[그림] 엔비디아 라떼3D

모델은 각 텍스트 프롬프트에  따라 몇 가지 다른 3D 모양 옵션을 생성해 크리에이터에게 선택권을 제공합니다. 선택된 개체는 몇 분 내에 더 높은 품질로 최적화 됩니다. 그런 다음 사용자는 해당 그래픽을 그래픽 소프트웨어 애플리케이션이나 엔비디아 옴니버스와 같은 플랫폼을 전송할 수 있습니다. 이를 통해 오픈USD Universal Scene Description 기반 3D 워크플로우와 애플리케이션을 사용할 수 있습니다. 

 

■ 라떼3D 훈련

연구진은 동물과 일상 사물이라는 2가지 특정 데이터세트에 대해 라떼3D를 훈련시키고, 개발자는 동일한 모델 아키텍처를 사용해 다른 데이터 유형에 대해 AI를 훈련시킬 수 있습니다. 예를 들어, 3D 식물 데이터세트를 훈련한 라떼3D 버전은 조경 디자이너가 고객과 브레인스토밍하면서 나무, 꽃 덤불, 다육식물로 정원 렌더링을 빠르게 작성하는 데 도움을 3줄 수 있습니다. 가정 내 사물에 대해 훈련된 모델은 집을 3D 시뮬레이션으로 채울 아이템을 생성할 수 있습니다. 이런 경우 개발자는 테스트하거나 실제 환경에 배치하기 전에 개인 비서 로봇을 훈련할 수 있습니다. 

 

라떼3D 훈련에는 엔비디아 A100 텐서코어 GPU가 사용되었습니다. 3D 그래픽 외에도 챗GPT통해 생성된 다양한 텍스트 프롬프트를 훈련했습니다. 이를 통해 사용자가 특정 3D 개체를 설명할 때 제시할 수 있는 다양한 문구를 처리하는 능력을 향상시켰습니다. 예를 들어, 다양한 개 종류를 묘사하는 프롬프트에서는 모두 개 모양을 생성하도록 학습시켰습니다. 

 

---

▒ 엔비디아 리서치

전 세계 수백 명의 과학자와 엔지니어로 구성된 엔비디아 리서치는 AI, 컴퓨터 그래픽, 컴퓨터 비전, 자율 주행 자동차, 로보틱스 등을 중점으로 연구하고 있습니다. 

 

▒ 엔비디아 NIM과 네모 리트리버 NeMo Retriever 마이크로서비스

2024년3월 엔비디아는 새로운 엔비디아 NIM과 네모 리트리버 마이크로서비스를 엔비디아 모피어스 가속 AI 프레임워크와 함께 작동하면 보안 분석가가 기존 툴로는 몇시간, 심지어 며칠 걸리던 문제를 단 몇 초 만에 식별할 수 있게 해준다고 설명했습니다. 

 

기존 방식에서는 발견된 취약점에 대한 해결책을 찾는 데 상당한 수작업이 필요했습니다. 그러나 LLM과 RAG Retrieval-Augmented Generation을 사용한 엔비디아 기술은 실행 가능한 CVE 위험 분석을 자동화하고 신속하게 제공할 수 있다고 합니다. 엔비디아 생성형 AI 마이크로서비스와 모피어스는 엔비디아 AI 엔터프라이즈 소프트웨어 플랫폼의 일부로 제공되고 있습니다. 

 

LLM은 엔비디아 애플리케이션에서 소프트웨어 패키지의 취약점을 검사하기 위한 작업 목록을 생성합니다. 그런 다음, 엔비디아 AI 기반 LLM 에이전트가 내부와 외부 데이터 소스에서 소프트웨어의 규정 준수를 위해 취해야 할 안전 조치를 검색합니다. 이 단계는 체크리스트의 모든 항목이 분류될 때 까지 반복됩니다. 이후 애플리케이션은 상호작용을 요약하고 조치에 대한 타당한 이유를 생성합니다. 그리고 적절한 다음 단계를 결정하기 위해 사람 분석가에게전달됩니다. 

 

엔비디아 NIM, 네모 리트리버, 모피어스는 엔비디아 AI 엔터프라이즈를 통해 이용할 수 있습니다. 이는 생성형 AI 파운데이션 모델을 위한 빠르고 효율적인 런타임을 제공하는 클라우드 네이티브 소프트웨어 플랫폼으로 보안, 안정성, 관리 용이성 등을 제공해 생성형 AI 도입을 간소화합니다. 

 

 

EOD