"로봇에게 새 동작을 보여준 지 20분 만에 터득했다.
로봇에 인공지능(AI)을 결합한 결과 빠르게 작업을 확장할 수 있었다.
"

레를 핀토 뉴욕대 컴퓨터·사이언스학과 교수는 22일 서울 중구 소공동 롯데호텔에서 열린 '2024 아시아미래기업포럼'에서 이같이 말했다.
핀토 교수는 '범용 로봇의 기반 구축'을 주제로 특별 강연에 나섰다.

핀토 교수는 로봇을 위한 머신러닝을 집중적으로 연구하는 젊은 학자다.
AI 모델을 적용해 일상에서 활용할 수 있는 범용 로봇을 개발하고 있다.
지난해 MIT 테크리뷰가 선정한 '35세 이하 혁신가'로 선정됐으며 최근엔 '파우나 로보틱스(Fauna Robotics)'를 창업해 주목받기도 했다.

핀토 교수는 아이들이 장난감 치우는 영상으로 행동 기반에 있는 논리모델을 설명했다.
장난감을 치우려면 거실에 널린 물건이 무엇인지 이해하고 구별하는 것부터 시작하기 때문이다.
AI도 마찬가지다.
AI 모델에 '바닷가에서 편하게 쉬고 있는 사람들을 그려줘'라고 주문했을 때 현실적인 결과물을 내놓을 수 있는 이유는 논리모델이 작동하고 있어서다.
바닷가에 있는 사물을 분석하고 이해하는 것을 토대로 결과물을 생성하는 것이다.

로봇이 아이들처럼 장난감을 치울 수 있으려면 학습을 거쳐야 한다.
흰 종이처럼 비어있는 모델에 대량의 데이터를 집어넣는 것이다.
이 모델을 사용해 더 많은 데이터를 생성하고 그 과정에서 오류를 수정하는 과정을 반복한다.
핀토 교수는 "로봇 시스템에도 많은 데이터를 학습시킨 후 전에 본 적 없는 물체를 어떻게 파악하고 동작하는지 살펴본다"며 "이런 연구들이 많이 확장됐지만 아직까지 집에서 로봇을 사용할 수 있을 만큼 개선되진 않았다"고 설명했다.

핀토 교수는 데이터 문제를 이유로 들었다.
AI나 로봇 모델에 데이터를 많이 학습시킬수록 오류가 줄어들지만 데이터 자체가 충분하지 않다는 것이다.
아무리 많은 데이터를 수집해도 현실을 대표할 만큼은 아니라는 얘기다.

핀토 교수 연구실은 문제를 해결할 실마리를 동물의 행동에서 찾았다.
그는 고양이에게 손잡이를 눌러 문을 여는 동작을 가르치는 상황을 예로 들었다.
고양이는 '손잡이'라는 개념을 모른다.
그러나 사람이 누르는 행위를 보여주고 이를 모방하면 보상을 하는 등 상호작용으로 동작을 가르칠 수 있다.
사람이 특정 행위에 대한 데이터를 만들어주고 고양이가 이를 학습한 것이다.
핀토 교수는 "로보틱스에 이를 적용하면 기존 알고리즘에 문을 여는 새로운 지식을 추가한 것"이라며 "여기서 더 나아가 학습한 것과 다른 환경에서도 행위를 할 수 있도록 연구하고 있다"고 밝혔다.

핀토 교수는 로봇 기술이 이처럼 발전하기 위해선 AI 모델이 중요하다고 강조했다.
인간처럼 낯선 환경에서 작동하려면 AI로 새로운 환경의 사물을 인식하고 판단하는 능력이 뒷받침되어야 하기 때문이다.

물론 거대언어모델(LLM)이 만능해결사는 아니다.
예를 들어 로봇에게 '오렌지 음료수병을 집어달라'고 명령했을 때 실패한 미션이 '금속으로 된 황금색 음료수병을 집어달라'고 말하면 성공할 수도 있다.
언어 기반 모델은 기본적으로 어떤 언어를 쓰고 어떻게 전달하느냐에 따라 로봇의 능력에 크게 영향을 미친다는 게 핀토 교수의 설명이다.

핀토 교수는 'OK 로봇'을 통해 이 문제를 개선하고 있다.
언어모델에만 의존하는 대신 로봇에게 영상을 학습시켰다.
긴 집게에 스마트폰을 부착한 후 집게가 하는 동작을 스마트폰 카메라로 찍어 로봇에게 보여주는 방식이다.
로봇이 집게가 서랍을 여는 영상을 보고 같은 동작을 배우는 데 걸리는 시간은 단 20분. 미국 뉴욕에 위치한 가정집 10곳에서 이 같은 방식으로 로봇에게 110개 작업을 시킨 결과 81%의 성공률을 나타냈다.
핀토 교수는 "모델이 빠르게 학습할 수 있었던 것은 이전에 배운 스킬에 대한 지식이 있었기 때문"이라며 "새로운 환경과 새로운 작업에도 빠르게 적응할 수 있다"고 강조했다.

핀토 교수는 이 같은 실험을 로봇 손가락이나 로봇 팔로 확장했다.
AI 모델을 바탕으로 로보틱스 기술을 진전시키고 있는 것이다.
핀토 교수는 "로보틱스 기술을 앞으로도 해결해야 할 문제가 산적했다"며 "신뢰성, 안전성, 개인정보 보호 등을 고려해 기술을 발전시켜 가야 할 것"이라고 덧붙였다.