KIST의 키스타핸드 / 사진. KIST
주관적인 언어 명령으로 자율 조작이 가능한 핸드GPT
한국과학기술연구원(이하 KIST)이 생성형 AI(Generative AI) 기술을 접목한 자율 조작 기술 ‘핸드GPT(HandGPT)’를 공개했다. 로봇이 직관적인 언어 명령에 따라 다양한 손동작을 스스로 생성할 수 있어 기존 로봇손의 한계를 극복하고, 향후 복잡한 환경에서의 자율 조작 가능성을 열었다는 평가다.
이번 기술은 KIST 휴머노이드연구단이 자체 개발한 다지 로봇손 ‘키스타핸드(KISTAR Hand)’에 생성형 AI 언어 모델과 시각언어모델(Vision-Language Model, VLM)을 연계해 구현했다. 기존에는 로봇이 단순한 그리퍼 구조를 통해 정형화된 환경에서 반복 작업을 수행했지만, 핸드GPT는 사진과 같은 2차원 정보를 이해하고 상황을 추론해 물체를 선택하고 조작한다.
AI 챗봇과 연결돼, 다양한 분야에서 높은 활용성
핸드GPT는 생성형 AI 챗봇의 API와 연동돼 있으며, 이를 통해 로봇은 사용자의 언어 명령을 해석하고, 상황과 의도에 따라 적절한 손동작을 스스로 계획한다.
실제 실험에서는 과자, 꽃, 주스 등이 함께 놓인 사진 속에서 ‘목이 마르다’는 명령에는 주스를, ‘장식이 필요하다’는 요청에는 꽃을 선택해 집었다. 또한 바나나, 드라이버, 찻주전자 등 다양한 형태와 용도의 물체를 상황에 맞게 다르게 조작하는 능력도 선보였다.
이와 관련해 KIST AI·로봇연구소 휴머노이드연구단 양성욱 박사는 “기존 기술은 물체의 속성이나 사용자의 의도를 정확히 연계하는 데 한계가 있었다”라며 “핸드GPT는 로봇의 상황 인식과 자율 판단 능력을 한 단계 끌어올리는 성과”라고 말했다.
핸드GPT는 기존의 모방학습 방식에 의존한 조작 기술과 달리, 적은 양의 학습 데이터만으로도 다양한 물체를 다룰 수 있으며, 로봇이 어떤 물체를 어떤 손가락으로, 어떤 방식으로 잡아야 할지를 상황에 따라 유연하게 판단한다. 이러한 기술은 제조 및 물류 현장은 물론, 돌봄과 일상 서비스 로봇 등 다양한 응용 분야에서 높은 활용 가능성을 지닌다.
KIST는 향후 로봇의 양팔을 활용한 조작 연구로 기술을 확장하고, 휴머노이드 로봇의 실사용 가능성을 더욱 높이겠다는 계획이다. KIST AI·로봇연구소 휴머노이드연구단 양성욱 박사는 “향후 양팔 자율 조작을 포함한 복합 동작 연구로 이어갈 것”이라며 “생성형 AI 기술을 기반으로 자율 로봇 조작의 새로운 패러다임을 제시하겠다”라고 밝혔다.
