김정호 KAIST 교수의 AI 전망② “HBM만으로는 10분, HBF를 붙이자 43초” 작성일 02-03 51 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">KAIST 테라랩 학생들 실험이 보여준 AI 병목의 실체</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="t2E5fnrNII"> <p contents-hash="c9598ba2a894f46232309ed5a5772e05bdba5c37d3ccb06c5243260f54c8f357" dmcf-pid="FVD14LmjIO" dmcf-ptype="general"> [이데일리 김현아 기자] AI 컴퓨팅의 병목이 연산(GPU)이 아니라 메모리라는 주장이 실험·분석 데이터로 제시됐다. </p> <p contents-hash="e1850497ed54b1abe0ad254847076ed54d79e899108208ebfd86a4bfb9ebd5bf" dmcf-pid="3fwt8osAIs" dmcf-ptype="general">김정호 KAIST 전기및전자공학부 교수는 3일 열린 ‘KAIST 테라랩(TERALAB) HBF(고대역폭 플래시) 기술개발 성과·로드맵·상품화 전략 발표회’에서 연구실 대학원생들이 수행한 속도·워크로드 분석 결과를 공개하며 “AI 성능을 결정하는 핵심 병목은 이제 GPU가 아니라 메모리 구조”라고 강조했다. 그는 “이론이나 감이 아니라 학생들이 직접 모델링과 시뮬레이션으로 검증한 결과”라고 말했다.</p> <figure class="figure_frm origin_fig" contents-hash="4de9415bd66ca28106889394e9dcf496c2c50ef161945c3601f758c0cf88b0c5" dmcf-pid="04rF6gOcmm" dmcf-ptype="figure"> <p class="link_figure"><img alt="AI 산업이 요구를 만들고, 가속기 산업과 메모리 산업이 하드웨어를 만들며, KAIST가 워크로드 분석과 아키텍처 최적화로 이 셋을 연결해 다시 개선하는 피드백을 준다는 의미다. 출처=김정호 교수" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/03/Edaily/20260203235345392yqgg.jpg" data-org-width="670" dmcf-mid="ZYIUMAlwIl" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/03/Edaily/20260203235345392yqgg.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> AI 산업이 요구를 만들고, 가속기 산업과 메모리 산업이 하드웨어를 만들며, KAIST가 워크로드 분석과 아키텍처 최적화로 이 셋을 연결해 다시 개선하는 피드백을 준다는 의미다. 출처=김정호 교수 </figcaption> </figure> <div contents-hash="b670f7b39c5bde6d817d6eb40d03061d926fd979663cc1647efb469faa1e7b5a" dmcf-pid="p8m3PaIkDr" dmcf-ptype="general"> <strong>학생들이 검증한 ‘첫 토큰 속도’의 차이</strong> </div> <p contents-hash="1f1f642255126a683b096692da17152c1a52b28556f4b2a992f91a9137c46097" dmcf-pid="UzaWBMAisw" dmcf-ptype="general">김 교수는 워크로드 분석 과정을 소개하며 “요즘은 AI에게 분석 프로그램을 짜달라고 하면 필요한 수식들을 인터넷과 논문에서 찾아와 계산 결과를 바로 내는 소프트웨어를 만들어준다”고 했다. 그는 800억 파라미터 모델, 입력 38만4000 토큰(384K), INT4, HBM 192GB, HBF 4096GB 등의 값을 넣어 성능을 예측하는 방식이라며 “원래는 설계가 끝난 뒤 학생들이 컴퓨터 시뮬레이션으로 확인해야 하지만, 우선은 계산기처럼 방향을 잡을 수 있다”고 설명했다.</p> <p contents-hash="cba9db3fa1df38a9b6052b11f2234e2330b177540fea6d8b250ff6f2014e5440" dmcf-pid="uqNYbRcnED" dmcf-ptype="general">이날 발표한 자료에는 가중치(Weights) 메모리 40.00GB, KV 캐시 메모리 375.00GB, 총 필요 메모리 415.00GB가 제시됐다. </p> <p contents-hash="1f7e3cda389e046a0f613104ed213de843c82ad5644d159b379972075520f04e" dmcf-pid="7BjGKekLrE" dmcf-ptype="general">김 교수는 “퍼포먼스 프레딕션에서 TTFT(Time To First Token)가 43,891로 나오는데, 현장에서는 이를 약 43초로 이해하면 된다”고 말했다. 처리량은 초당 19.25토큰(Throughput 19.25 TPS)으로 제시됐고, 메모리 배치 측면에서는 “총 필요량 415GB 가운데 53.7%가 HBF로 오프로딩되는 것으로 나온다”고 설명했다.</p> <p contents-hash="09c0279e62be3b327d2c84ad9cfd0599764e9a4c52f39bafca16b2f06cee7986" dmcf-pid="zbAH9dEosk" dmcf-ptype="general">김 교수는 같은 조건에서 HBF를 제외하고 HBM만 쓰는 경우를 가정하면 “첫 토큰이 나오는데 10분 정도 걸리고, 토큰 생성 속도도 10분의 1 수준으로 떨어진다”고 덧붙였다. </p> <p contents-hash="fc168b97d36e7099111841bb368b43871fb6c17226489195f0ba83b2b478521c" dmcf-pid="qKcX2JDgEc" dmcf-ptype="general">그는 “웨이트는 40GB 정도라 HBM에 들어가지만, KV 캐시는 커져서 HBM만으로는 감당이 어렵다”며 메모리 구조가 병목의 핵심이라고 강조했다.</p> <p contents-hash="03ed8da72f1282930bd4c986955ada6dab9992dca9295e1b1576c3a06bdb7706" dmcf-pid="B9kZViwaEA" dmcf-ptype="general">또 김 교수는 “이런 자료는 삼성전자, SK하이닉스, 샌디스크 등에도 제공되고, 오픈AI, 엔비디아, 구글 같은 생태계에서도 분석 결과가 의사결정에 활용된다”고 말했다. 이어 “연구실은 제품을 만드는 곳이 아니라, 어떤 조건에서 무엇이 꼭 필요한지 아키텍처 관점에서 분석하고 엄밀하게 검증하는 역할을 한다”고 덧붙였다.</p> <figure class="figure_frm origin_fig" contents-hash="81fa1da7990080caa2130b823f9e8d8cc077766d6ec14ae12f27de1d3610bccc" dmcf-pid="b2E5fnrNwj" dmcf-ptype="figure"> <p class="link_figure"><img alt="김정호 교수가 제안한 HBM·HBF를 함께 적용한 AI컴퓨팅 구조. HBM(고대역폭 메모리)는 매우 빠른 ‘DRAM’을 쌓아 데이터 처리에, HBF(고대역폭 플래시)는 상대적으로 느리지만 용량이 큰 ‘낸드 플래시’를 쌓아 대규모 데이터 저장에 특화돼 있다. AI 기기 내에서 서로 보완하며 사용된다." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/03/Edaily/20260203235346671cwgl.jpg" data-org-width="670" dmcf-mid="5zznC5b0Eh" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/03/Edaily/20260203235346671cwgl.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김정호 교수가 제안한 HBM·HBF를 함께 적용한 AI컴퓨팅 구조. HBM(고대역폭 메모리)는 매우 빠른 ‘DRAM’을 쌓아 데이터 처리에, HBF(고대역폭 플래시)는 상대적으로 느리지만 용량이 큰 ‘낸드 플래시’를 쌓아 대규모 데이터 저장에 특화돼 있다. AI 기기 내에서 서로 보완하며 사용된다. </figcaption> </figure> <div contents-hash="6efba08ce787d1ccae0edc9024f35da8ebaec8af526c6f7826dbc4d94efcef42" dmcf-pid="KVD14LmjrN" dmcf-ptype="general"> <strong>왜 HBF가 필요한가…KV 캐시의 폭증</strong> </div> <p contents-hash="8c2d0ed86df474620301af3f135f3193306c646dc84a16dcb8fd9c84fdc43194" dmcf-pid="9fwt8osAsa" dmcf-ptype="general">학생들의 모델 분석에 따르면 문제는 연산량이 아니라 메모리에 쌓이는 데이터의 성격이다. AI 모델 가중치(웨이트)는 수십 GB 수준으로 HBM에 수용 가능하지만, 문맥을 유지하기 위한 KV 캐시는 수백 GB에서 수 TB까지 급증한다. </p> <p contents-hash="259e349bb59808b74a8e25a104e68f877d2853c2a35d1d16dda92107b728e2f1" dmcf-pid="24rF6gOcDg" dmcf-ptype="general">김 교수는 4000억 파라미터급 대형 모델을 예로 들며 “어텐션 관련 데이터만 약 270GB, KV 캐시는 최대 2TB 이상이 필요하다”며 “이 정도 규모에서는 HBM만으로는 아무 일도 할 수 없다. MoE 구조가 확산되는 이유도 결국 메모리 때문”이라고 말했다.</p> <p contents-hash="21affc6651739e0730f73d60638e43a4d317d4c93e46ef234961392671ead34f" dmcf-pid="V4rF6gOcIo" dmcf-ptype="general"><strong>동시 사용자 늘릴수록 ‘HBM 한계’는 더 빨리 온다</strong></p> <p contents-hash="9f8cb34d186bff242210aa87663bbac6b62e1061ed438da0da589997e935f75c" dmcf-pid="f8m3PaIkDL" dmcf-ptype="general">학생들은 동시 사용자 수와 컨텍스트 길이에 따른 메모리 요구량도 분석했다. 그 결과 동시 사용자 64명, 컨텍스트 길이 1만 토큰 수준까지는 HBM으로 대응 가능하지만, 컨텍스트 길이가 10만 토큰을 넘어서면 HBF 없이는 불가능하다는 결론이 제시됐다. </p> <p contents-hash="3295f6c198fb238ceb0a934f424df3a3c840609e1a5dc5834e47c1ed012555d0" dmcf-pid="46s0QNCEIn" dmcf-ptype="general">김 교수는 “AI 서비스를 키우려면 사용자를 늘려야 하는데, 사용자를 늘릴수록 메모리 요구량은 기하급수적으로 커진다”며 “GPU를 늘리는 것만으로는 해결되지 않는다”고 설명했다.</p> <figure class="figure_frm origin_fig" contents-hash="e32156956d3e0186957a2cc86d6cc476cf9bc8fbe64337ba8a03ebdae969db98" dmcf-pid="8POpxjhDOi" dmcf-ptype="figure"> <p class="link_figure"><img alt="김정호 KAIST 전기및전자공학부 교수가 3일 서울 중구 프레스센터에서 열린 ‘고대역폭플래시메모리(HBF) 연구 내용 및 기술 개발 전략 설명회’에서 HBF에 대해 설명하고 있다. 사진=연합뉴스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/03/Edaily/20260203235347921xdob.jpg" data-org-width="670" dmcf-mid="1ytQET0HwC" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/03/Edaily/20260203235347921xdob.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 김정호 KAIST 전기및전자공학부 교수가 3일 서울 중구 프레스센터에서 열린 ‘고대역폭플래시메모리(HBF) 연구 내용 및 기술 개발 전략 설명회’에서 HBF에 대해 설명하고 있다. 사진=연합뉴스 </figcaption> </figure> <div contents-hash="7734a2a4feebf7916468ee8c742bef1e6fb5c8e2c4dae334d17641f65d75369a" dmcf-pid="6QIUMAlwOJ" dmcf-ptype="general"> <strong>HBM·HBF 로드맵, 두 가지 시나리오</strong> </div> <p contents-hash="4f6653e5f086ad74669587a7c64d6d57607314c87c198833c12aa498ee435b3a" dmcf-pid="PxCuRcSrmd" dmcf-ptype="general">김 교수는 HBM과 HBF를 결합하는 로드맵으로 두 가지 시나리오를 제시했다. 첫 번째는 HBF1 기반 추론 아키텍처다. 추론용 AI를 전제로 GPU 연산부에는 GDDR을, 디코딩·지표 처리 영역에는 HBF를 붙이는 구조로, 값비싼 HBM 의존도를 낮추면서 응답 속도를 유지하는 방안이다. </p> <p contents-hash="b8c14ba48f9a31ee98cafc3cd9174931fef120b0821b18dbfe1ec5ec6fcf333c" dmcf-pid="QMh7ekvmOe" dmcf-ptype="general">두 번째는 HBF2와 HBM을 결합한 하이브리드 구조다. 대역폭이 필요한 학습 변수는 HBM이, 대용량 컨텍스트와 KV 캐시는 HBF가 맡는 방식으로, 김 교수는 “속도는 HBM, 기억은 HBF”라고 설명했다.</p> <p contents-hash="ad81417254264cc99e6024f72b67529718fcf7b293865da56daa7d8409b1094a" dmcf-pid="xRlzdETsER" dmcf-ptype="general"><strong>“트랜스포머와 폰 노이만 구조가 바뀌지 않는 한 답은 메모리”</strong></p> <p contents-hash="2b8f5b471c6f09fe5ca9e3b8b67ce8633924be74153448b89a185f84d23c3266" dmcf-pid="yY8EHzQ9rM" dmcf-ptype="general">김 교수는 트랜스포머 모델이 한 번에 대량의 데이터를 불러와 처리하고, 폰 노이만 구조는 메모리와 연산 장치가 분리돼 있다는 점을 들어 “이 조합이 유지되는 한 병목은 필연적으로 메모리에서 발생한다”고 말했다. 그는 “AI 경쟁의 핵심 길목은 연산 코어가 아니라 데이터를 얼마나 빠르고 많이 쏟아낼 수 있느냐”라며 “그 길목을 장악하는 쪽이 AI 패권을 쥐게 될 것”이라고 강조했다. 같은 맥락에서 김 교수는 AI 시대를 ‘메모리 센트릭 컴퓨팅’ 시대로 규정하며 “AI 팩토리를 GPU 중심으로만 보는 시각은 곧 한계에 부딪힐 것”이라고 덧붙였다.</p> <p contents-hash="859eada41c3cda151bd04aec589ec1cf85cca6fd4f8d61deee6dbcc79380a45b" dmcf-pid="WG6DXqx2wx" dmcf-ptype="general">한편 김정호 교수의 테라랩은 HBF의 아키텍처와 구조 등 연구 내용을 소개하는 HBF 워크샵을 오는 10일 오전 9시부터 오후 4시 20분까지 줌으로 생중계할 예정이다.</p> <p contents-hash="d72fdccb06031de0327222033fac6f127a4c791253793a6dea1d3636e00e53dd" dmcf-pid="YHPwZBMVrQ" dmcf-ptype="general">김현아 (chaos@edaily.co.kr) </p> </section> </div> <p class="" data-translation="true">Copyright © 이데일리. 무단전재 및 재배포 금지.</p> 관련자료 이전 정은지, '궁' OST 리메이크…오늘(3일) '앵무새' 발매 02-03 다음 개막 사흘 앞둔 밀라노, 레드존 발령…경찰 2000여명 추가 배치[2026 동계올림픽] 02-03 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
