KAIST, LLM 인프라 비용 3분의 1로 낮추는 '스펙엣지' 기술 개발 작성일 12-28 58 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="z1jiaAgREI"> <p contents-hash="4f9fbb0694a3bee0c19410e4a293dfa4a22fc87eb5b6dcc8f437113d1264ad8a" dmcf-pid="qtAnNcaesO" dmcf-ptype="general">대규모 언어모델(LLM) 기반 인공지능(AI) 서비스는 대부분 고가의 데이터센터 그래픽 처리장치(GPU)에 의존해 왔다. 이에 서비스 운영 비용이 높고, AI 기술 활용 진입장벽도 컸다. 이런 가운데 한국과학기술원(KAIST·총장 이광형) 연구진이 비싼 데이터센터 GPU를 덜 쓰고, 주변의 저렴한 GPU를 활용해 AI 서비스를 더 싸게 제공할 수 있는 기술을 개발했다.</p> <p contents-hash="e3450dc8a8db59c3928dd3afdecf6015327e24207dfd0e00100300d3676e6741" dmcf-pid="BFcLjkNdms" dmcf-ptype="general">KAIST는 한동수 전기 및 전자공학부 교수팀이 이와 같은 '스펙엣지(SpecEdge)' 기술을 개발했다고 28일 밝혔다.<br></p> <figure class="figure_frm origin_fig" contents-hash="bcdadf79d039722b3e5fd277c3ba4ef3dd8d5a55177acdb9cb748cd87d78719f" dmcf-pid="b3koAEjJrm" dmcf-ptype="figure"> <p class="link_figure"><img alt="연구팀이 개발한 SpecEdge 개념도" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/28/etimesi/20251228120341967usxa.jpg" data-org-width="700" dmcf-mid="pfadoNLxwS" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/28/etimesi/20251228120341967usxa.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 연구팀이 개발한 SpecEdge 개념도 </figcaption> </figure> <p contents-hash="7f321b972b1cec8930b89872edb3fd87e8b417fd246285814d23d1007882518d" dmcf-pid="KyJPeiRfDr" dmcf-ptype="general">SpecEdge는 데이터센터 GPU와 개인 PC나 소형 서버 등에 탑재된 '엣지 GPU'가 역할을 나눠 LLM 추론 인프라를 함께 구성하는 방식이다. 이 기술을 적용한 결과, 기존 데이터센터 GPU만 사용하는 방식에 비해 토큰(AI가 문장을 만들어내는 최소 단위)당 비용을 약 67.6% 절감할 수 있었다.</p> <p contents-hash="24a440957a72477e95b1699b4f70e94da9ebb74ce14d2cab1b22ae23f2b0e62d" dmcf-pid="9WiQdne4Dw" dmcf-ptype="general">연구팀은 이를 위해 '추측적 디코딩(Speculative Decoding)'이라는 방법을 활용했다. 엣지 GPU에 배치된 소형 언어모델이 확률이 높은 토큰 시퀀스(단어 또는 단어 일부가 순서대로 이어진 형태)를 빠르게 생성하면, 데이터센터의 대규모 언어모델이 이를 일괄 검증하는 방식이다. 이 과정에서 엣지 GPU는 서버의 응답을 기다리지 않고 계속 단어를 만들어, LLM 추론 속도와 인프라 효율을 동시에 높였다.</p> <p contents-hash="0f4041e83f5dc90a1d61dedc2f7a813ab9b9a6e3804e7f4a3387862c68df9fff" dmcf-pid="2YnxJLd8OD" dmcf-ptype="general">데이터센터 GPU에서만 추측적 디코딩을 수행하는 방식과 비교해 비용 효율성은 1.91배, 서버 처리량은 2.22배 향상됐다. 특히 일반적인 인터넷 속도에서도 문제없이 작동해, 별도의 특수한 네트워크 환경 없이도 실제 서비스에 바로 적용할 수 있는 기술임을 확인했다.</p> <p contents-hash="87efb8962a4a84d3860b097913683a0c8f9920593f65cd18e49f7deab095dc27" dmcf-pid="VGLMioJ6IE" dmcf-ptype="general">또 서버는 여러 엣지 GPU의 검증 요청을 효율적으로 처리하도록 설계돼, GPU 유휴 시간 없이 더 많은 요청을 동시에 처리할 수 있다. 이를 통해 데이터센터 자원을 보다 효율적으로 활용할 수 있는 LLM 서빙 인프라 구조를 구현했다.<br></p> <figure class="figure_frm origin_fig" contents-hash="91aa23b6b7bc8a4950776023487abcc676fc4b943fe0a317bf0eb3d93077d14f" dmcf-pid="fHoRngiPOk" dmcf-ptype="figure"> <p class="link_figure"><img alt="기술 개발 연구진. 사진 왼쪽부터 KAIST 전기 및 전자공학부의 한동수 교수, 박진우 박사, 조승근 석사과정." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/28/etimesi/20251228120343256qnfr.png" data-org-width="682" dmcf-mid="7UcLjkNdrC" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/28/etimesi/20251228120343256qnfr.png" width="658"></p> <figcaption class="txt_caption default_figure"> 기술 개발 연구진. 사진 왼쪽부터 KAIST 전기 및 전자공학부의 한동수 교수, 박진우 박사, 조승근 석사과정. </figcaption> </figure> <p contents-hash="615aed86ac589b10ea237ad21c35583390560b6fd43aa474a4567324c641f277" dmcf-pid="4XgeLanQDc" dmcf-ptype="general">이번 연구는 데이터센터에 집중돼 있던 LLM 연산을 엣지로 분산시켜, AI 서비스의 기반이 되는 인프라 비용은 줄이고 접근성은 높일 수 있는 새로운 가능성을 제시했다. 향후 스마트폰, 개인용 컴퓨터, 신경망 처리장치(NPU) 등 다양한 엣지 기기로 확장될 경우, 고품질 AI 서비스가 보다 많은 사용자에게 제공될 수 있을 것으로 기대된다.</p> <p contents-hash="686104cdcf71301dbb35c7c5f344109b9cc2617372b517e3af9e30e70c584fab" dmcf-pid="8ZadoNLxIA" dmcf-ptype="general">한동수 교수는 “데이터센터를 넘어 사용자의 주변에 있는 엣지 자원까지 LLM 인프라로 활용하는 것이 목표”라며 “이를 통해 AI 서비스 제공 비용을 낮추고, 누구나 고품질 AI를 활용할 수 있는 환경을 만들고자 한다”고 말했다.</p> <p contents-hash="9f09b4c903dc13925fb099a0028de81935d37625feb56ff1a586c6197cc28df0" dmcf-pid="65NJgjoMwj" dmcf-ptype="general">이번 연구에는 KAIST 박진우 박사와 조승근 석사과정이 참여했으며, 연구 결과는 12월 2일부터 7일까지 미국 샌디에이고에서 열린 신경정보처리시스템 학회(NeurIPS)에서 스포트라이트(Spotlight)로 (상위 3.2% 논문, 채택률 24.52%) 발표됐다.</p> <p contents-hash="a20833774b33d2cff58744237ba182bb1ad215f9ee12232289e1271a700726b4" dmcf-pid="P1jiaAgRsN" dmcf-ptype="general">한편, 이 연구는 정보통신기획평가원 (IITP) 'AI-Native 응용 서비스 지원 6G 시스템 기술개발' 과제 지원을 받아 수행됐다.</p> <p contents-hash="ce3ca4163f3c33b2ac48e80529fe111f0f14592fac9f4a1931d7ec8e4ff5e758" dmcf-pid="QtAnNcaema" dmcf-ptype="general">김영준 기자 kyj85@etnews.com</p> </section> </div> <p class="" data-translation="true">Copyright © 전자신문. 무단전재 및 재배포 금지.</p> 관련자료 이전 고환율이 새해 기업경기 '발목'…새해 1분기 체감경기 '찬바람' 12-28 다음 ETRI, 국방 5G 특화망·상용망 ‘신뢰연동’ 기술 개발…육군 스마트부대 실증 12-28 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
