'AI토큰 폭증 추세' 속 GPU 경쟁, '물량 확보' 아닌 '효율 확보'가 화두 작성일 08-21 31 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">AI 모델 커지고 추론·에이전트 확산···연산 수요 폭증 <br>데이터센터·전력 확충 속도엔 한계···메모리·SW 아우른 최적화 필요성 부상</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="2xNnHDUZLR"> <figure class="figure_frm origin_fig" contents-hash="774763b0201a8617147ee10066fcb0ec71decae243ecfeccaddaff094eaa7227" data-idxno="238773" data-type="photo" dmcf-pid="VMjLXwu5RM" dmcf-ptype="figure"> <p class="link_figure"><img alt="21일 이진원 하이퍼엑셀 최고기술책임자(CTO)는 서울 삼성동 코엑스에서 열린 '2026 OCP 코리아 테크 데이'에서 발표하고 있다. / 사진=김도영 기자" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202608/21/552777-a6ToU27/20260821171515314uurs.jpg" data-org-width="960" dmcf-mid="9mhmqW6bde" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202608/21/552777-a6ToU27/20260821171515314uurs.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 21일 이진원 하이퍼엑셀 최고기술책임자(CTO)는 서울 삼성동 코엑스에서 열린 '2026 OCP 코리아 테크 데이'에서 발표하고 있다. / 사진=김도영 기자 </figcaption> </figure> <p contents-hash="cee2e31f6e543898fa9b97973085b70863a7dcc66e381ab0b3fb3b48d7cfed5b" dmcf-pid="fRAoZr71Lx" dmcf-ptype="general">[시사저널e=김도영 기자] 인공지능(AI) 토큰 사용량이 2년 새 330배로 폭증하면서 AI 인프라 수요가 데이터센터 건설과 그래픽처리장치(GPU) 증설 속도를 앞지르고 있다. AI 모델의 크기가 계속해서 커지는 데다 추론 모델과 AI 에이전트 확산으로 필요한 연산량도 급증한 영향이다. 전력과 반도체 공급이 수요를 따라가지 못하면서 경쟁의 초점은 GPU를 몇 장 확보하느냐에서 한 장으로 얼마나 많은 토큰을 처리하느냐로 옮겨가는 모습이다. 반도체 설계 역시 연산 성능뿐 아니라 메모리와 전력, 운영 소프트웨어를 함께 최적화하는 방향으로 바뀌고 있다.</p> <p contents-hash="de95165ea50fc69b65063e0ee7122ffae335abc8b398a7fc360a09bf0c3dba69" dmcf-pid="4ecg5mztJQ" dmcf-ptype="general">21일 이진원 하이퍼엑셀 최고기술책임자(CTO)는 서울 삼성동 코엑스에서 열린 '2026 OCP 코리아 테크 데이'에서 "결국 AI 발전의 핵심 원리는 스케일을 계속 키우는 것"이라며 "구글이 처리한 AI 토큰은 2024년 5월과 비교해 올해 5월 330배 증가했다"고 말했다. 구글이 지난 5월 공개한 자료에 따르면 월간 AI 토큰 처리량은 3200조개로 2년 전 9조7000억개에서 약 330배 늘어난 것으로 나타났다. </p> <p contents-hash="3dca6e6f92b7a98fef5279747012c6178cc02f76a69103e41f428d8a582dfc2b" dmcf-pid="81buN4sAdP" dmcf-ptype="general">토큰 사용량은 AI가 한 차례 답변을 생성하는 챗봇에서 스스로 계획을 세우고 도구를 호출하는 AI 에이전트로 발전하면서 가파르게 늘고 있다. 추론 모델은 답을 내놓기 전 더 오래 '생각'하고 AI 에이전트는 하나의 요청을 처리하기 위해 검색과 외부 도구 호출을 반복한다. 사용자가 한 번 지시해도 내부에서는 여러 모델과 하위 에이전트가 연쇄적으로 작동해 연산량과 토큰 소비가 함께 증가한다.</p> <p contents-hash="619a3d5a4acfa9b5ba811fef6bc40bcf47cfd30dfbf046fd74ab2fbde1987042" dmcf-pid="6tK7j8Ocd6" dmcf-ptype="general">이 CTO는 "마이크로소프트 코파일럿 통계를 보면 작업을 시작해 목표를 달성할 때까지의 전체 과정인 세션의 평균 길이는 62.6분이고 세션당 사용자 요청은 9.2개"라며 "각 요청을 처리하는 검색·모델·도구 호출 등의 단계인 스텝은 평균 8.7개로, 하나의 세션에서 약 82번의 LLM 또는 도구 호출이 발생한다"고 설명했다. 이어 "호출의 거의 90%는 사람이 아니라 AI가 스스로 수행한다"며 "사람은 처음 프롬프트를 입력할 때 한 번 개입하고 이후에는 AI가 다른 AI와 도구를 호출한다"고 말했다.</p> <p contents-hash="10c67881b533ab1a16f005b03c005267a514a018ccb5a2062d3923aeab388d46" dmcf-pid="PF9zA6IkM8" dmcf-ptype="general">AI 사용량이 빠르게 늘어도 물리적 인프라를 같은 속도로 확충하기는 어렵다. 전 세계 기업이 기가와트(GW)급 데이터센터 건설에 나섰지만 GPU 확보와 별개로 전력망을 연결하는 데 수년이 걸릴 수 있다. 정부도 '대한민국 대도약 3대 메가프로젝트'를 통해 2029년 8.4GW, 2035년 18.4GW 규모의 AI 데이터센터 구축 구상을 제시했으나 전력 공급 능력이 사업 속도를 좌우할 변수로 꼽힌다.</p> <p contents-hash="7a982225e6990f3075e3324597fce2d99874a3b423f9d67af1918fe6ce3a769e" dmcf-pid="Q32qcPCER4" dmcf-ptype="general">이 CTO는 AI 서비스 수요가 컴퓨팅 인프라 확충 속도를 앞지르고 있다는 사례로 앤트로픽을 들었다. 앤트로픽은 지난 2월 최근 3년간 연환산 매출이 매년 10배 이상 증가했다고 밝혔다. 이 CTO는 이에 비해 연산 인프라를 같은 속도로 늘리기 어렵다며 서비스 수요와 공급 가능한 컴퓨팅 자원 사이의 격차가 커지고 있다고 설명했다.</p> <p contents-hash="914ae98d690327b9eb1d51021e18cf1feeb553cbc41bfb49ef18c33f401ebf21" dmcf-pid="x0VBkQhDMf" dmcf-ptype="general">이 격차를 줄이기 위해 서비스 가격을 높이거나 학습용 GPU를 추론에 더 배정할 수 있지만 두 방법 모두 한계가 있다는 설명이다. 이 CTO는 앤트로픽의 마진율이 이미 약 80% 수준으로 알려져 있어 추가로 가격을 높일 여지가 크지 않다고 봤다. 학습용 GPU를 추론 서비스에 돌리면 당장 매출을 늘릴 수 있지만 차세대 모델 개발이 늦어져 경쟁력이 약해질 수 있다. 그는 "결국 남는 방법은 GPU 한 대가 벌어들이는 매출을 높이는 것"이라며 "GPU의 생산성을 높여야 한다"고 강조했다.</p> <p contents-hash="33fd44d0c0f52cf1867673bbf0f27c4b6b392fcdd5b7f3c8defaca685e2dc1d3" dmcf-pid="yNIw7T4qnV" dmcf-ptype="general">AI 에이전트의 작업 특성은 메모리 관리 부담도 키운다. LLM은 이전 연산 결과를 재사용하기 위해 'KV 캐시'를 메모리에 저장한다. AI 에이전트는 하나의 작업을 길게 이어가고 일부 세션에 호출과 연산이 집중되는 특성이 있어 평균 사용량만으로 시스템을 설계하기 어렵다. 이 CTO는 "요청과 요청 사이의 중앙값이 약 25분"이라며 "이 시간에도 KV 캐시를 메모리에 유지해야 한다"고 설명했다.</p> <p contents-hash="5f19d33241afc8afb3ee9b298b822a88423aaf7dd18b2241d7bf8fe410084d6e" dmcf-pid="WjCrzy8BR2" dmcf-ptype="general">KV 캐시는 주로 GPU에 탑재된 고대역폭메모리(HBM)에 저장되지만 용량이 제한적이고 가격도 비싸다. 캐시를 삭제하면 이용자가 돌아왔을 때 다시 계산해야 하고 저장장치로 옮기면 데이터 이동과 복원에 시간과 비용이 든다. 이 CTO는 "예전에는 LLM만 빠르게 돌리면 됐지만 이제는 가속기를 잘 만드는 것만으로 해결되지 않는다"며 "메모리를 어떻게 관리할지, 메모리 계층을 어떻게 설계할지까지 시스템 전체를 함께 고민해야 한다"고 말했다.</p> <p contents-hash="673cff0246ee82f315a6b08a79055895800c8c2ffa39375d2aee035bd3a6e761" dmcf-pid="YAhmqW6bJ9" dmcf-ptype="general">반도체 개발에는 통상 수년이 걸려 현재의 AI 사용 방식만을 기준으로 제품을 설계하기도 어렵다. 이 CTO는 "반도체는 아무리 빨라도 개발에 2년, 양산까지 포함하면 3~4년이 걸린다"며 "오늘 칩을 설계한다는 것은 3~4년 뒤 AI가 어떤 모습일지 예측하면서 설계해야 한다는 뜻"이라고 말했다.</p> <p contents-hash="7428673cbf8b61fd8129ee9c748056c2468735c88426f73c5115397c5700c29b" dmcf-pid="GclsBYPKnK" dmcf-ptype="general">이어 "앞으로는 컴퓨트와 메모리, 시스템, 소프트웨어가 모두 중요하다"며 "어느 하나만 잘해서는 안 되고 운영 소프트웨어까지 함께 최적화해야 한다"고 강조했다. AI가 스스로 더 많은 작업을 수행할수록 제한된 전력과 메모리로 얼마나 많은 토큰을 안정적으로 처리하느냐가 AI 인프라 경쟁의 핵심 관건이 될 전망이다.</p> <p contents-hash="8050173472ee72d065443fb276b162db0db7a95f9e709b493c2ac584f014a2c4" dmcf-pid="HkSObGQ9Rb" dmcf-ptype="general">한편 하이퍼엑셀은 거대언어모델(LLM) 추론용 반도체 '베르다(Bertha)'의 초기 구동과 안정화·검증 작업을 진행하고 있다. 베르다는 고대역폭메모리(HBM) 대신 상대적으로 가격과 소비전력이 낮은 저전력 D램인 LPDDR5X를 적용해 추론 비용과 전력 사용량을 낮추는 것을 목표로 한다. 이 CTO는 "현재 브링업 작업도 순조롭게 진행되고 있다"며 "한두 달 안에는 실제 데모를 보여드릴 수 있을 것"이라고 말했다.</p> <p contents-hash="bf1d6a8992d2d1c7f4f4341f25ac6bbbea7a0e9983010cb27caf6904c72fb4c6" dmcf-pid="XEvIKHx2eB" dmcf-ptype="general">하이퍼엑셀은 차세대 반도체에 AI 에이전트의 메모리 사용 특성을 반영해 하드웨어와 소프트웨어를 함께 설계할 방침이다. 이 CTO는 "실제 서비스를 하려면 연산 성능뿐 아니라 가격이 저렴하고 전력도 적게 소비해야 한다"며 "연산 자원당 토큰 처리량은 최대 4.7배, 가격 대비 성능은 6.2배, 전력 대비 성능은 5.7배까지 GPU보다 높아질 것으로 예상한다"고 강조했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 시사저널e 무단전재 및 재배포 금지</p> 관련자료 이전 카카오 '기업가치 제값 받기' 승부수…AI 키우고 주주 달랜다[카카오 대수술] 08-21 다음 역사 속으로 사라지는 3G…관건은 '정부 승인'과 '이용자 보호' 08-21 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
