데이터센터 없이도 AI 된다…오히려 더 빠르고 안전하게 [가장 쉬운 인공지능 안내서] 작성일 09-06 47 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">온디바이스 AI의 세계</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="72C5p3Ikhg"> <figure class="figure_frm origin_fig" contents-hash="d678dadf336cc15fada6c6ae764f8f32e6519097fb0502645631ad951d7e1491" dmcf-pid="zVh1U0CESo" dmcf-ptype="figure"> <p class="link_figure"><img alt="온디바이스 AI를 가능케하는 엑시노스 모바일 NPU [삼성전자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/06/mk/20260906183308449atcw.png" data-org-width="624" dmcf-mid="p0q1U0CECj" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/06/mk/20260906183308449atcw.png" width="658"></p> <figcaption class="txt_caption default_figure"> 온디바이스 AI를 가능케하는 엑시노스 모바일 NPU [삼성전자] </figcaption> </figure> <div contents-hash="389d4e5217c51ebca56e27a25d20c4d215662f1dfb9217f70d5f1ff663a002a3" dmcf-pid="qfltuphDSL" dmcf-ptype="general"> <div> AI를 쓰려면 꼭 거대한 데이터센터가 필요할까. 스마트폰과 PC 안에서 AI를 직접 돌리는 ‘온디바이스 AI’가 빠르게 확산하고 있다. 인터넷 없이도 작동하고, 응답은 더 빠르며, 민감한 데이터를 외부로 보내지 않아도 된다. 온디바이스 AI가 무엇이고 어디까지 활용할 수 있는지 김유성 한국ICT기술사포럼 대표에게 들어봤다. </div> </div> <p contents-hash="60aeea1e1ac66aabd78f9af2be1761af80da95c8c8956f87606b4450e3f6acf7" dmcf-pid="BBmGt5rNWn" dmcf-ptype="general">외국인과 통화하면서 실시간으로 통역하고, 인터넷 연결이 없는 기내에서 회의 내용을 요약하며, 카메라를 비추면 화면 속 사물과 텍스트를 즉시 인식한다. 최근 스마트폰과 PC 제조사들이 선보이는 인공지능(AI) 기능 가운데 상당수는 데이터를 외부 서버로 보내지 않고 기기 내부에서 직접 처리한다는 공통점이 있다.</p> <p contents-hash="b652fbb3dab1b21bb91bb2b1f6bfb2535791c9df5975daae3fbb645bbe8c10b4" dmcf-pid="bbsHF1mjCi" dmcf-ptype="general">지난 번 이미지와 음악, 영상 등 다양한 콘텐츠를 생성하는 AI의 발전과 비즈니스 활용 전략을 살펴봤다. 지금까지 이러한 생성형 AI의 대다수는 대규모 데이터센터에 구축된 클라우드 환경에서 동작했다. 사용자가 질문이나 데이터를 전송하면 서버에서 연산을 처리한 뒤 결과를 다시 단말기로 보내주는 방식이다.</p> <p contents-hash="1ad3b1ac6b353e3985721b2d4d34bf21f4eeb043a72ea26c972288891acbd7c5" dmcf-pid="KKOX3tsAlJ" dmcf-ptype="general">그러나 AI 활용이 일상 업무와 산업 현장으로 확대되면서 클라우드 방식만으로 해결하기 어려운 새로운 요구도 나타나고 있다. 네트워크 연결이 어려운 환경에서도 AI 기능을 사용할 수 있어야 하고, 기업의 기밀 정보나 개인정보는 가능한 한 외부 서버로 보내지 않아야 한다. 제조·자동차·로봇처럼 빠른 판단이 필요한 분야에서는 응답 지연을 최소화하는 것도 중요하다.</p> <p contents-hash="00b374ba895714506ac4d6a7dec72a6212465d2cb1f804fc1596798f05cb708f" dmcf-pid="99IZ0FOcWd" dmcf-ptype="general">이러한 요구와 함께 주목받는 기술이 바로 ‘온디바이스(On-Device) AI’다. 클라우드 서버에 의존하지 않고 스마트폰, 노트북, 자동차, 산업용 장비 등 단말기 내부에서 AI 모델을 직접 실행하는 방식이다.</p> <figure class="figure_frm origin_fig" contents-hash="4f2c140edc2657f11bb787bf2743c400e1a43007fab3655ba603376e7c6d47e2" dmcf-pid="22C5p3Ikve" dmcf-ptype="figure"> <p class="link_figure"><img alt="삼성전자가 업계 첫 ‘온디바이스 AI’에 최적화한 유니버설 플래시 스토리지(UFS) 5.0 메모리 솔루션을 개발했다.[삼성전자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/06/mk/20260906183309761cadf.png" data-org-width="700" dmcf-mid="UdQNDkPKlN" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/06/mk/20260906183309761cadf.png" width="658"></p> <figcaption class="txt_caption default_figure"> 삼성전자가 업계 첫 ‘온디바이스 AI’에 최적화한 유니버설 플래시 스토리지(UFS) 5.0 메모리 솔루션을 개발했다.[삼성전자] </figcaption> </figure> <div contents-hash="4ac4b39cd047a609f3dc8af3711e0140de249b65340d40debc45230ce0015af7" dmcf-pid="VVh1U0CECR" dmcf-ptype="general"> <div> <strong>대형 AI를 단말기에서 실행하는 기술</strong> </div>불과 몇 년 전까지만 해도 수십억 개 이상의 매개변수를 가진 대형 모델을 구동하려면 고성능 GPU(그래픽처리장치)와 대규모 서버 인프라가 필요했다. 스마트폰이나 노트북처럼 메모리와 배터리에 제약이 있는 단말기에서 이러한 모델을 그대로 실행하기는 어려웠다. </div> <p contents-hash="e963f4427190d0d3a5026700846166d2012d50813847a09b5550d52b2c4afc5f" dmcf-pid="ffltuphDWM" dmcf-ptype="general">이를 가능하게 한 핵심 기술 중 하나가 ‘모델 경량화’다. 대표 기술인 양자화(Quantization)는 AI 모델이 연산에 사용하는 수치의 정밀도를 32비트에서 8비트나 4비트 수준으로 낮춰 모델 크기와 메모리 사용량을 크게 줄인다.</p> <p contents-hash="ea23673ee5b89fdc50d93f72c97403585e16cb44778b881ed519ab0ad7fc9fa8" dmcf-pid="44SF7Ulwlx" dmcf-ptype="general">여기에 대형 모델이 학습한 지식을 작은 모델에 전달하는 지식 증류(Knowledge Distillation)와 특정 업무에 필요한 기능을 중심으로 설계한 소형언어모델(SLM)이 활용되면서 제한된 단말기 환경에서도 실용적인 수준의 AI 기능을 구현할 수 있게 됐다.</p> <p contents-hash="194fc145bb0323a4ccecebd0d623e3fe3a2d56dae73937dcfdbaeda6b10c7233" dmcf-pid="8nt9641yTQ" dmcf-ptype="general">하드웨어의 발전도 중요한 역할을 했다. 최근 스마트폰과 PC용 칩셋에는 AI 연산에 특화된 신경망처리장치(NPU)의 탑재가 확대되고 있다. NPU는 인공신경망에서 반복적으로 수행되는 행렬 연산 등을 낮은 전력으로 처리해 음성 인식, 이미지 분석, 실시간 번역 같은 AI 기능을 기기 자체에서 효율적으로 실행하도록 지원한다.</p> <div contents-hash="126386f09d2c796e364e1de24c59c17860025e626ece02f0662c40787a0b0bea" dmcf-pid="6LF2P8tWTP" dmcf-ptype="general"> <div> <strong>통신 지연을 줄이는 실시간 처리</strong> </div>온디바이스 AI의 가장 직접적인 장점 중 하나는 빠른 응답 속도다. </div> <p contents-hash="7b9430dd19ecf8fbb6c2ce718a8c9784d061736e7c6a23adcfdd414a2035f9f0" dmcf-pid="Po3VQ6FYv6" dmcf-ptype="general">클라우드 기반 AI는 데이터가 네트워크를 통해 서버로 이동하고, 처리 결과를 다시 받아오는 과정에서 일정한 통신 지연(Latency)이 발생한다. 일반적인 문서 작성이나 정보 검색에서는 몇 초의 차이가 큰 문제가 아닐 수 있지만 실시간 판단이 필요한 서비스에서는 짧은 지연도 서비스 품질에 영향을 미칠 수 있다.</p> <p contents-hash="33576e303b2fff7b37122cf6b2edab0ecd26375158f75c75aa15ca40d56feda2" dmcf-pid="Qg0fxP3Gl8" dmcf-ptype="general">온디바이스 AI는 주요 연산을 단말기 내부에서 처리하기 때문에 네트워크를 오가는 시간을 줄일 수 있다. 통화 중 실시간 통역이나 카메라 영상 분석처럼 빠른 반응이 필요한 기능에서 이러한 특성이 중요한 장점으로 작용한다.</p> <p contents-hash="eed9479ee3a1d13976b82ecf85c465a3cfdf9578a59f46c483b457423bd172b1" dmcf-pid="xap4MQ0Hh4" dmcf-ptype="general"><i><strong>기사 전문은 매일경제신문의 프리미엄 재테크 콘텐츠 플랫폼 매경플러스에서 확인할 수 있습니다. 네이버에서 ‘매경플러스’를 검색하거나 아래 QR코드를 스마트폰으로 찍으면 연결됩니다.</strong></i></p> <figure class="figure_frm origin_fig" contents-hash="773d9327f820032af8110fcc604546626a2b344fb461c80fdfd08db3b000079a" dmcf-pid="y3jhWTNdhf" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202609/06/mk/20260906183309945wbkj.jpg" data-org-width="450" dmcf-mid="u0mGt5rNla" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202609/06/mk/20260906183309945wbkj.jpg" width="658"></p> </figure> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 전화·검색·카톡 파고드는 ‘모두의 AI’… 생활 속 실행력 승부수 09-06 다음 [인터뷰] 발로란트 정인호 해설 "고착화된 메타 순환 위해 척후대 버프 필요해" 09-06 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
