통화 실시간 통역? 온디바이스 AI 등장

예전에 여행을 가면 외국인들과 소통이 안 돼 답답하기도 하고 불안하기도 하고 위축되기도 했었습니다. 그런데 가끔 영어회화 번역기를 사용해 단답형 대화를 했던 기억이 어렴풋이 납니다. 최근 IT 산업을 넘어 다양한 분야에 인공지능(AI)을 접목하고 있습니다. 실생활에서도 AI를 접할 기회가 점차 많아지고 있어 편리해졌습니다. 하지만 AI가 일상화되려면 거쳐야 할 관문이 많다고 들었습니다. 그것이 바로 온디바이스 AI(On-Device AI)입니다. 같이 알아보도록 하겠습니다.

 

<출처 : 카카오뱅크 >

 

1. 온디바이스 AI가 뭔데?

챗GPT를 예로 들어봅시다. 스마트폰으로 챗GPT에 질문하면 답해줍니다. 이때 챗GPT는 스마트폰에서 작동하는 게 아닙니다. 디바이스(단말기)는 사용자 명령을 데이터센터에 전달해 출력값을 받아올 뿐, 실제 명령을 분석하고 결과를 만드는 건 데이터센터입니다. 이렇게 인터넷 네트워크, 즉 클라우드로 작동하는 AI를 클라우드 AI라 부릅니다. AI가 사람 말을 알아듣고 작업을 처리하는 게 쉽진 않아 유능한 AI가 되려면 학습할 정보가 아주 많아야 하고, 또 그 정보를 소화하는 고성능 처리 장치도 필요합니다.

 

 

 

 

그래서 지금까지 생성형 AI는 대부분 클라우드를 기반으로 구축됐습니다. 세계 각지의 단말기를 눈과 귀처럼 사용해 정부를 수집하고, 거대한 데이터센터는 두뇌처럼 정보를 처리하고 소화합니다. 반면 온디바이스 AI는 단말기 자체가 두뇌이자 눈과 귀의 역할을 하는데 인터넷 없이 작동되는 인공지능이라 생각하면 쉽습니다. 클라우드 AI와 달리 개별 디바이스가 정보 입출력뿐 아니라, 정보의 분석과 처리도 수행합니다.

 

 

 

2. 이제는 크기보다도 효율성

클라우드를 써야 더 많이 학습하는데, 왜 굳이 디바이스마다 AI를 넣어야 할까? 클라우드 AI가 똑똑하고 정확한 건 맞습니다. 하지만 실생활에선 AI가 편리하고 효율적인지가 더 중요합니다. AI를 상용화하는 데는 디바이스 쪽이 더 안성맞춤입니다.

1) 인터넷 없이도 빠르게

온디바이스 AI는 데이터센터로 정보를 보내지 않고 직접 처리합니다. 인터넷 네트워크가 필요 없습니다. 나아가 정보를 주고받는 데 필요한 시간도 줄일 수 있어 실생활에서 즉각 반응하는 AI를 구축하는데 유리합니다.

2) 개인정보도 문제없어

클라우드 AI는 운영 운리상 사용자 정보를 지키기 어렵습니다. 일단 정보를 데이터센터에 옮겨야 하지만 온디바이스 AI는 모든 작업을 디바이스 내에서 처리하니 정보가 밖으로 샐 일이 없습니다. 일상의 개인 정보뿐 아니라 업무 현장의 기업 내부 정보가 유출될 위험이 적습니다.

 

 

 

2. 차세대 스마트폰, 큰 것이 온다

설명은 거창했지만 사실 아주 생소한 기술이 아닙니다. 이미 많이 쓰는 스마트폰의 얼굴 인식 잠금 해제 기능도 온디바이스 AI입니다. 요즘은 확실히 대세의 흐름을 탄 듯합니다. 온디바이스 AI를 얼마나 매력적으로 구현하는지에 따라 스마트폰, 노트북 경쟁의 판세가 달라질 수 있다는 이야기가 나올 정도입니다.

ㆍ삼성은 이달 새로운 플래그십 스마트폰 갤럭시 S24를 발표하는데 자체 개발한 AI모델 가우스를 탑재했다고 합니다. 통화를 실시간 통역하는 등의 AI 기능을 탑재했습니다.
ㆍ애플은 이미 아이폰에 음량 조절이나 텍스트 자동 수정, 받아쓰기 등 AI 기술을 제공해 왔습니다. 신제품에는 온디바이스 기반의 생성형 AI를 탑재한다는 소식. AI 비서 시리(Siri)를 획기적으로 발전시킬 계획입니다.

이 밖에 마이크로소프트, 구글, 샤오미 등 굵직한 IT회사도 온디바이스 AI에 차기작의 성패를 걸고 있는데 올해 획기적인 디바이스를 기대해 봐도 좋을 겁니다.

 

 

3. 결국 중요한 것은 반도체

사실 온디바이스는 무척 어려운 기술입니다. 커다란 데이터센터에서 돌아가던 AI를 디바이스마다 압축해 넣는 것이니 말입니다. 효율적인 알고리즘을 구축해도 디바이스의 부담이 큽니다. 그러니 내장되는 반도체 성능을 끌어올려야 합니다. 얼마나 효과적인 반도체와 메모리를 넣는지에 따라 온디바이스 AI의 성능은 천지 차이입니다. 무엇보다 반응 속도가 빠르면서 전력은 덜 소모하는 메모리가 필수적. 최근 삼성전자, 애플, SK하이닉스, 퀄컴 등 여러 기업이 AI 전용 반도체 개발에 박차를 가하고 있습니다.

 

< 오늘의 돋보기 요약 >

① 네트워크로 작동한 기존 AI와 달리 디바이스에 내장되는 온디바이스 AI
② 본격적인 AI 상용화 돌입 단계에서 온디바이스 AI가 주목받는데
③ 디바이스에 매력적인 AI를 탑재하기 위한 경쟁, AI 전용 반도체의 개발 경쟁이 치열해

온디바이스 AI는 사용자에게 개인화된 서비스를 제공할 수도 있습니다. 사용자가 스마트폰으로 검색하고, 앱을 사용하고, 통화를 하는 등의 정보를 세세하게 학습할 수 있기 때문입니다. 머지않은 미래에는 진짜 AI 비서를 스마트폰에서 만나볼 수 있을 겁니다.

---

 같이 보면 좋을 포스팅 

계산 필요 없는 AI 편의점, 주머니에 쏙 넣으면 끝

챗GPT 넘보는 대항마 AI 등장, 빅테크는 전쟁중!

[AI]ChatGPT:챗봇-정보 및 사용법, 주의사항 그리고 사람들의 반응!