우승상 시상식 사진 (좌) 2위 중국 하얼빈공대 대표, (가운데) KAIST 대표 이광현 석사과정 (우) ICML 주최 인사 / 사진. 카이스트

 

카이스트(KAIST)는 산업및시스템공학과 문일철 교수 연구팀이 글로벌 기계학습 학회인 ‘국제머신러닝학회(ICML, International Conference on Machine Learning) 2024’에서 개최된 ‘멀티모달 작업계획 생성 경진대회(EgoPlan)’에서 다수의 세계 연구팀을 모두 제치고 1위로 우승을 했다고 지난 30일(화) 밝혔다.

 

본 대회는 7월 21일(현지시각)부터 27일까지 오스트리아 비엔나에서 개최됐으며, 참가자는 북경대(中), 북경 AGI연구소(中) 및 임페리얼칼리지 런던(Imperial College London, 英) 등의 6개국 13개 기관이 참여해 경쟁했다. 우리 연구팀은 국내 유일의 참가 기관으로 7월 26일 우승상 및 혁신상을 수상했다.

 

이번 대회는 인공지능이 주방에서 요리하는 과정을 비디오 및 지문으로 학습한 이후, 경험하지 못한 요리 과정에서 상식적으로 합당한 의사결정을 내려 조리할 수 있는지를 경쟁하는 시합이었다. 이는 시각 정보와 지문 정보 등의 멀티모달 정보를 조합하며, 학습에 반영되지 않은 상식까지 반영해 의사결정을 내리는 시험이다. 이 기술은 최소한의 학습만으로도 로봇이 다양한 멀티모달 정보 및 기초 상식을 활용해 자율 제조 및 서비스를 수행할 수 있도록 개발하는 것이 핵심이다.

 

산업및시스템공학과 이광현(석사과정), 강미나(석사과정) 등 총 11명의 팀으로 참가한 응용인공지능 연구실(이하 AAILab) 팀은 상식 기반 추론을 통한 작업계획 생성의 정확도 1위 성능으로 우승상(Outstanding Champion Award) 및 기술의 우수성을 인정받아 혁신상(Innovation Award)을 수상해, 2개 상을 동시에 수상했다. 이번 대회를 위해 AAILab 팀은 멀티모달 대규모 모델의 파인튜닝 학습에 대한 연구 개발 결과를 적용해 우승을 차지했다.

 

카이스트 문일철 교수는 “중국팀들이 대회를 위해 위챗(WeChat) 대화방까지 마련해 서로 협력한다는 얘기를 전해 듣고는 경쟁이 치열하다고 느꼈다. 하지만 카이스트 팀도 각고의 노력으로 우승할 수 있었다. 학생들이 두 달 동안 거의 잠을 자지 못했다”고 우승 소회를 밝혔다. 그리고 문 교수는 “이번 대회의 출제 문제는 요리하는 인공지능이지만, 사실 테슬라에서 시험하고 있는 휴머노이드 제조 로봇에 활용될 수 있는 상식을 가진 인공지능을 만드는 기술이 본질이다. 많은 중국 참가자가 보여주듯이 중국의 로봇 및 인공지능 기술 선점 노력을 엿볼 수 있다”라고 분석했다. 

 

한편, 이번 연구는 정보통신기획평가원(IITP)에서 지원한 사람중심인공지능 핵심원천기술개발사업 중 ‘이종데이터기반 상식 추출, 이해, 추론을 위한 인공지능 기술개발(연구책임자 문일철)’을 통해 이뤄졌다.