삼성전자가 내년 1월17일 공개할 예정인 프리미엄 스마트폰 '갤럭시S 24'에는 통화 내용을 실시간 통역해주는 기능이 탑재된다.
스마트폰 이용자가 자국 언어로 편하게 이야기하면 상대방의 스마트폰 기종과 상관없이 갤럭시 인공지능(AI)이 이를 상대방 언어로 바꿔 전달해주고, 다시 상대방의 말을 통역해 들려준다.
기존에도 스마트폰에서 사용할 수 있는 통역 애플리케이션(앱)이 있었지만, 스마트폰 자체 기능으로 탑재되는 것은 세계 최초다.

이처럼 디지털기기에 AI를 탑재해 이용자에게 새로운 정보기술(IT) 경험을 제공하는 것을 '온디바이스 AI(on-device Artificial Intelligence)'라고 한다.
기존의 클라우드 기반 AI가 외부 서버나 클라우드에 연결돼 데이터와 연산을 지원받았다면, 온디바이스 AI는 기기 자체에 탑재돼 직접 AI 서비스를 제공하는 기술이다.
통신 상태에 제약받지 않고, 보안성이 높으며, 정보처리 속도 또한 빠르다는 장점이 있다.

이미 IT업계에서는 온디바이스 AI를 기기에 장착함으로써 제품의 경쟁력을 강화하려는 시도가 이어지고 있다.
삼성전자는 조만간 최초의 온디바이스 AI 노트북인 '갤럭시북4' 또한 선보일 예정이다.
갤럭시북4에는 NPU(신경망처리장치)가 적용된 인텔의 최신 CPU(중앙처리장치)인 메테오레이크가 탑재돼 통신 연결이 없이도 AI 연산이 가능하다.

구글은 최신 스마트폰인 '픽셀8 프로'에 대규모언어모델(LLM) '제미나이'를 탑재한다.
제미나이를 통해 메시지를 작성할 때 이어서 말할 내용을 예측해 제안해주고, 녹음한 내용도 요약해주는 식이다.
생성형 AI로 사진 속 피사체의 위치와 크기를 조정할 수 있고, 사람의 표정도 바꿔준다.
애플은 지난 10월 차세대 AI 칩 'M3'를 공개하며 온디바이스 AI 시대를 예고했다.
내년 가을 출시할 것으로 예상되는 '아이폰 16' 시리즈에 온디바이스 AI 기능을 탑재할 것으로 전망된다.

관련 업계에선 온디바이스 AI가 새로운 성장동력이 될 것으로 보고 있다.
스마트폰, 자율주행 자동차, 드론 등 다양한 기기에 탑재돼 실시간 대화 통역, 위치 인식, 작동 제어 등 여러 기능을 수행하면서 시장이 본격 확대될 것으로 기대한다.
시장조사업체 카날리스는 2027년 출시될 전체 PC의 약 60%를 온디바이스 AI 제품이 차지할 것으로 예측했다.