사진. NVIDIA

 

NVIDIA의 최신 오픈 모델과 프레임워크는 시뮬레이션, 로봇 학습, 임베디드 컴퓨팅을 결합해 클라우드 환경에서 로봇 간 워크플로우를 가속화한다. 차세대 로봇은 지시를 이해하고 다양한 기술을 학습하는 동시에 전문 작업에도 훈련이 가능한 범용 전문가로 발전할 것으로 전망된다. 이는 특정 직무를 숙달할 수 있는 만능형 로봇으로 이해할 수 있다. 이러한 로봇을 구축하기 위해서는 데이터 수집과 생성, 제어 정책의 학습 및 평가, 물리적 장치로의 안전한 배포를 포함하는 클라우드 기반 통합 워크플로우가 필요하다. 이와 같은 일반주의-전문 시스템은 시각·언어·행동을 통합한 추론 모델(VLA)에 기반해 다양한 과제를 인지하고 이해하며 수행한다.

이러한 변화를 가속화하기 위해 NVIDIA는 오픈 NVIDIA Isaac 플랫폼을 통해 로봇 개발에 필요한 모델, 데이터 파이프라인, 시뮬레이션 프레임워크, 런타임 라이브러리 등을 제공하고 있다. 이를 통해 개발자들은 NVIDIA의 3대 컴퓨팅 솔루션을 기반으로 로봇을 제작하고 대규모로 배포할 수 있다. 또한 NVIDIA는 오픈 VLA 모델인 NVIDIA Isaac GR00T N을 제공해 개발자들이 자체 로봇 지능을 구축하고 후처리를 수행할 수 있도록 지원한다. 이러한 모델과 라이브러리, 프레임워크는 클라우드 및 온디바이스 AI 인프라에서 실행될 수 있으며, OpenClaw와 같은 장기 실행 에이전트와의 통합을 통해 더욱 효율적으로 활용될 수 있다.

NVIDIA는 최근 GTC에서 에이전트 친화적인 NVIDIA Isaac GR00T 모델과 Isaac 로봇 시뮬레이션 및 학습 프레임워크, 엣지 AI 시스템을 공개하며 개발자들에게 새로운 도구를 제시했다. 이들 워크플로우는 개방적이고 조합 가능하게 설계돼 개발자가 다양한 구성 요소를 결합하고 프로토타입에서 실제 배포까지의 과정을 가속화할 수 있도록 한다.

 

예를 들면 애질리티 로보틱스는 NVIDIA Isaac의 오픈 프레임워크를 사용해 로봇을 시뮬레이션에서 현실로 전환하고 있다.

 

사진. NVIDIA

 

컴퓨팅을 데이터로 전환
불과 몇 년 전까지만 해도 로봇 파이프라인의 확장은 개발자가 수동으로 데이터를 수집하는 능력에, 로봇 학습 역시 다양한 시나리오와 실제 환경에 대한 노출에 의존했다. 그러나 NVIDIA의 오픈 라이브러리와 프레임워크는 센서 로그와 원격 조작 시연 등 실제 데이터와 시뮬레이션 기반 생성 데이터를 결합해 클라우드 연산을 대규모 데이터로 빠르게 전환함으로써 기존 방식을 변화시키고 있다. 고충실도이면서 물리적으로 정확한 합성 데이터는 물리적 데이터 수집의 한계를 극복하는 데 기여하며, 특히 드물거나 위험한 극단적 사례까지 학습에 포함할 수 있도록 한다. 이러한 사례는 실제 환경에서 포착하기 어렵거나 안전하지 않을 수 있지만, 대규모 배포 이전에 반드시 학습해야 할 요소다. 현재 합성 데이터는 엣지 AI 학습 데이터의 일부에 불과하지만, 향후 가트너 보고서에 따르면 2030년까지 엣지 시나리오 데이터의 90% 이상을 차지할 것으로 예상된다. NVIDIA는 물리 세계 기반의 현실적인 합성 데이터를 생성하기 위한 오픈 프레임워크와 라이브러리를 통해 이러한 변화를 추진하고 있다.

 

NVIDIA Omniverse NuRec의 가속 3D 가우시안 스플래팅 라이브러리는 실제 센서 데이터를 오픈 소스 로봇 시뮬레이션 프레임워크인 NVIDIA Isaac Sim에서 OpenUSD 기반의 인터랙티브 시뮬레이션으로 전환한다. 이를 통해 개발자는 실제 환경을 스캔하고 재현해 물리적 상호작용을 기반으로 로봇을 안전하게 테스트할 수 있다.

 

원격 조작을 통해 수집된 데이터 역시 활용된다. NVIDIA Isaac Teleop은 XR 헤드셋, 바디 트래커, 장갑 등 다양한 장치를 통해 데이터를 수집하고, 이를 기반으로 실제 환경과 시뮬레이션에서 사용할 수 있는 데이터를 생성하도록 지원한다. 이러한 데이터는 NVIDIA Physical AI Data Factory Blueprint를 통해 증강, 평가, 오케스트레이션이 통합된 형태로 관리된다. 또한 NVIDIA Cosmos의 오픈 월드파운데이션 모델과 NVIDIA OSMO를 기반으로 한 워크플로우는 확장 가능한 데이터 엔진을 제공하며, 실제 시나리오를 다양한 합성 데이터로 빠르게 확장할 수 있도록 한다. 환경뿐만 아니라 로봇 자체 역시 시뮬레이션 대상이다.

 

NVIDIA Isaac Sim을 통해 개발자는 휴머노이드, 자율 이동로봇, 로봇 팔 등 다양한 모델을 선택하고 실제 사양에 맞게 조정할 수 있다.

 

OpenUSD 기반 렌더링을 통해 생성된 데이터와 환경 간 상호작용이 가능하며, 로봇의 움직임과 궤적은 실제 적용 전에 시뮬레이션에서 기록되고 재생돼 AI 모델 학습에 활용된다.

 

로봇 지능을 완성하는 과정
데이터셋이 준비되면 로봇은 새로운 작업을 로봇이 학습하게 된다. 이 과정은 GR00T와 같은 VLA 기반 로봇 모델을 중심으로 진행된다. VLA 모델은 특정 작업에 맞는 데이터로 후처리될 수 있으며, 예를 들어 세탁물 정리, 요리, 병원 내 물품 전달 등 다양한 작업에 맞게 학습된다. 이후 개발자는 로봇 정책을 시험할 수 있으며, 실제 환경에서의 학습이 어려운 점을 고려해 시뮬레이션 기반 학습이 활용된다.

 

Isaac Lab 3.0은 수천 개의 물리 기반 시뮬레이션을 병렬로 실행해 로봇이 다양한 상황을 동시에 학습할 수 있도록 지원한다. 또한 Newton 물리 엔진과의 통합을 통해 현실적인 물리 환경을 구현하고, 다양한 조건에서 로봇의 동작을 검증할 수 있다.

 

로봇 개발자들은 NVIDIA Isaac 라이브러리와 AI 모델을 활용해 엣지 환경에서 런타임 배포에 최적화된 조작 및 이동성 작업의 핵심 구성 요소를 사용할 수 있다.

 

조작을 위한 Isaac은 로봇이 물체를 인지하고 그 기하학적 형태와 자세를 이해하며 이를 잡을 수 있도록 지원한다. 개발자들은 이러한 인식 모델과 GPU 가속 모션 생성을 결합해, 로봇이 복잡하고 변화하는 환경에서도 빠르게 계획하고 재계획할 수 있도록 한다.

 

Isaac for Mobility는 로봇이 안전하게 위치를 파악하고 지도화하며 내비게이션할 수 있도록 기반을 제공한다. 개발자들은 GPU 가속 시각 주행 거리 측정과 SLAM을 활용해 견고한 위치 인식을 수행하고, 실시간 3D 재구성을 통해 장애물과 환경 변화를 회피한다.

 

시뮬레이션 기반 학습이 실제 환경에 적용될 수 있도록 Newton, NVIDIA PhysX, Google DeepMind의 Mujoco 물리 엔진이 Isaac Sim과 Isaac Lab에서 지원된다. 이를 통해 개발자들은 로봇을 별도로 조정하지 않고도 다양한 프레임워크 간 전환을 용이하게 수행할 수 있다.

 

단일 기술에 대한 학습만으로는 충분하지 않다. 개발자들은 로봇의 기술이 다양한 환경과 작업 전반에 걸쳐 적용될 수 있는지 확인해야 한다. 최신 Isaac Lab-Arena 릴리스는 대규모 작업 설정과 정책 평가를 가능하게 해 환경 구성을 단순화하고 복잡한 작업 생성을 가속화함으로써, 개발자가 다양한 작업을 병행해 평가할 수 있도록 지원한다. 또한 Isaac Lab-Arena는 LIBERO, RoboTwin, NIST 등 산업 및 학술 벤치마크와 연동돼 개발자들이 진행 상황을 쉽게 평가할 수 있도록 한다.

 

배포 전 중요한 단계
로봇은 배포 전에 다양한 조건에서 학습한 내용을 반복적으로 테스트해야 한다. 로봇의 움직임과 조작뿐만 아니라 각 작업에 대한 역학적 반응까지 모든 요소는 실제 환경에서 작동하기 전에 충분히 평가되어야 한다. Cyngn은 NVIDIA Isaac Sim에서 지게차가 다양한 경사면을 이동할 때 타이어 역학을 테스트하고 있다.

 

포괄적인 테스트에는 로봇 소프트웨어만을 검증하는 소프트웨어 인 더 루프(Software-in-the-loop)와, 로봇의 두뇌 역할을 하는 엣지 컴퓨팅에서 스택의 동작을 검증하는 하드웨어 인 더 루프(Hardware-in-the-loop)가 포함된다.

 

Isaac Sim은 두 가지 테스트를 모두 지원해 개발자가 테스트와 반복 과정에서 실제 환경과 시뮬레이션 환경을 쉽게오갈 수 있도록 한다. 최신 Isaac Sim 릴리스는 워크플로우 간 원활한 이동을 지원하도록 설계됐으며, NuRec 렌더링을 통해 데이터 입력을 간소화하고 다양한 여러 물리 시뮬레이션 엔진을 통해 로봇이 큰 수정 없이 Isaac Sim과 Isaac Lab 간을 자유롭게 이동할 수 있도록 한다.

 

또한 디지털 트윈 기반으로 대규모 물리 AI 및 로봇 플릿을 개발·테스트·최적화하는 NVIDIA Blueprint인 Mega와 직접 연동된다. 이를 통해 개발자는 단일 로봇에서 다수의 로봇, 나아가 전체 플릿 단위로 테스트를 확장할 수 있다.

 

워크플로우와 모듈 사용
배포 준비가 완료되면 개발자들은 모델을 원활하게 실행하고 다양한 고속 센서 데이터를 처리하며, 엣지 환경에서 다양한 형태와 크기의 로봇을 지원할 수 있는 고성능 컴퓨팅이 필요하다. NVIDIA Jetson 제품군은 Jetson Thor와 Jetson Orin을 포함하며, 소형 조작기부터 휴머노이드에 이르기까지 실시간 감지와 AI 추론을 지원하는 로봇 전반을 아우른다. 또한 NVIDIA Isaac 런타임 라이브러리는 로봇 정책이 엣지에서 효율적으로 실행될 수 있도록 최적화한다. 최신 오픈 소스 cuVSLAM 라이브러리는 Jetson 기반 내장 컴퓨터를 통해 로봇이 실시간으로 위치를 파악하고 지도를 생성할 수 있도록 지원한다.

 

새로운 개척지 연구
로봇이 범용 전문가로 발전함에 따라 연구자들은 기존 기술을 처음부터 다시 구축할 필요 없이 반복적으로 확장할 수 있는 유연한 워크플로우를 필요로 한다. NVIDIA의 오픈리서치 프레임워크 SOMA-X는 AI, 시뮬레이션, 실제 로봇 전반에 걸쳐 구조와 움직임, 정체성을 표준화함으로써 이러한 요구를 충족한다. 이를 통해 개발자는 리깅(Rigging)이나 모션 리타겟팅(Retargeting), 통합 작업을 반복하지 않고도 다양한 로봇 플랫폼을 교체할 수 있으며, Isaac Sim, Isaac Lab, GR00T 기반 파이프라인을 안정적으로 유지할 수 있다.

 

또한 새로운 바디 모델이나 데이터셋, 하드웨어가 등장하더라도 기존 도구나 OpenClaw와 같은 장기 실행 에이전트를 손상시키지 않고 동일한 SOMA-X 표현에 연결할 수 있다 . 이와 함께 연구자들을 위한 새로운 기초 모델인 GEAR-SONIC은 휴머노이드 로봇에 강력한 기능을 제공한다. 대규모 인간 동작 데이터를 기반으로 학습된 SONIC은 여러 개별 컨트롤러 대신 단일 통합 정책을 활용해 로봇이 걷기, 기어가기, 물체 조작 등 다양한 전신 동작을 자연스럽게 수행하도록 지원한다.

 

안전성과 개발 지원 체계 강화
NVIDIA 로봇 스택은 안전 도구와 개발 초기 자원을 함께 제공함으로써, 팀이 실험 단계에서 대규모의 신뢰성 있는 시스템으로 빠르게 전환할 수 있도록 지원한다.

NVIDIA Halos는 클라우드에서 로봇에 이르기까지 종단 간 안전 보호 체계를 갖춘 종합적인 풀스택 안전 시스템으로, 로봇공학의 안전한 개발과 학습, 배포를 지원하도록 설계됐다.

NVIDIA GR00T X-구현체는 GR00T 사후 학습에 사용된 동일한 데이터를 포함한 데이터셋으로, Hugging Face에서 1,000만 회 이상 다운로드됐다.

 

또한 Bones Studio는 휴머노이드 로봇 학습을 위해 설계된 14만 개 규모의 인간 동작 애니메이션 라이브러리 BONES-SEED를 제공한다. 각 동작에는 설명과 타임스탬프가 정밀하게 라벨링돼 있어, 로봇 개발 팀이 보다 정교하고 자연스러운 동작을 구현할 수 있는 기반을 제공한다. 해당 데이터는 Hugging Face의 NVIDIA Physical AI Open Dataset 컬렉션을 통해 확인할 수 있다.