[GTC 2026] ‘엔비디아의 미래’ 리서치 조직, 추론 효율에 꽂혔다 작성일 03-19 35 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">리서치 이끄는 빌 달리 엔비디아 최고과학자<br>“컴퓨팅 에너지 73%가 데이터 이동에 쓰여<br>GPU 위 메모리를 쌓는 등 아키텍처 연구 중”</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="VabruDGhRq"> <figure class="figure_frm origin_fig" contents-hash="8961a8ebce6d6733f406f99674f578329b929a7ef7da936fef294c2e7c9a6f23" dmcf-pid="fNKm7wHliz" dmcf-ptype="figure"> <p class="link_figure"><img alt="빌 달리 엔비디아 최고과학자 겸 리서치 부문 부사장이 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 엔비디아 리서치 팀이 연구 중인 내용을 소개하고 있다. [사진 = 정호준 기자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202603/19/mk/20260319134804403atcn.jpg" data-org-width="700" dmcf-mid="9L9Uo06beb" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202603/19/mk/20260319134804403atcn.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 빌 달리 엔비디아 최고과학자 겸 리서치 부문 부사장이 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 엔비디아 리서치 팀이 연구 중인 내용을 소개하고 있다. [사진 = 정호준 기자] </figcaption> </figure> <div contents-hash="10de81a8f731e9b716a72604d13b2cba12deb927f2783a0b106cbff8bc068819" dmcf-pid="4j9szrXSe7" dmcf-ptype="general"> “그래픽처리장치(GPU) 처리량(스루풋) 문제는 곧 데이터 이동 과정을 효율화하는 것과 직결됩니다. 컴퓨팅 에너지의 73%는 데이터 이동에 쓰이고 있습니다.” </div> <p contents-hash="32c6c70b602a1c9a0a50fff65b31d2fc6d1d381cfc7c6b252d496d0ed6138312" dmcf-pid="8A2OqmZviu" dmcf-ptype="general">엔비디아의 연구조직인 엔비디아 리서치를 이끄는 빌 달리 최고과학자는 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 리서치 조직이 연구하고 있는 핵심 주제로 ‘추론 효율’을 꼽았다.</p> <p contents-hash="e0d4967617b424662084b8a5d471794fa2f168704a5b6e88b0563a04ca1c4234" dmcf-pid="6cVIBs5TLU" dmcf-ptype="general">달리 최고과학자는 “모델 크기와 수요는 매년 커지고 있는 가운데, 경제적으로 대응하기 위해서는 토큰 비용을 줄여야 한다”며 “근본적으로 개선해야 하는 영역은 반도체에서 데이터가 이동하는 과정에서 소모되는 에너지”라고 설명했다. 그는 “컴퓨팅에 사용되는 에너지는 9%에 불과하다”며 “데이터 이동을 줄일 수 있다면 컴퓨팅 효율은 훨씬 올라가게 될 것”이라고 덧붙였다.</p> <p contents-hash="f4603698e9618da4a1ec3ecf2f5e3960376c2d3295cc18fbbd08040acf935b26" dmcf-pid="PkfCbO1yep" dmcf-ptype="general">리서치 조직이 이를 해결하려는 방법은 반도체 하드웨어 영역이다. 달리 최고과학자는 “최선의 방법은 GPU에 메모리를 최대한 가깝게 해서 데이터 이동을 최소화하는 것”이라며 “연산하는 영역 바로 옆에 S램(RAM)을 배치하고, GPU 칩 위에는 D램(RAM)을 적층하는 것이 하나의 방법”이라고 설명했다.</p> <p contents-hash="92df4a40c3075e285d9b2714605dccb04e17e3ecb0a93d5f9473894912600059" dmcf-pid="QE4hKItWe0" dmcf-ptype="general">이같은 방식은 컴퓨팅 효율을 높이면서 출력까지 걸리는 지연시간을 최소화하는 효과를 가져다준다. 이를 통해 W당 토큰 처리량을 10배 수준으로 개선할 수 있다는 설명이다.</p> <p contents-hash="5df001ff5adafe658d6b916db502ab5c5512e40a8a22d4527056ab9c512bb005" dmcf-pid="xD8l9CFYe3" dmcf-ptype="general">GPU 위에 메모리를 적층하는 방식은 상용화 단계는 아니지만, 리서치 조직에서 실제 적용까지를 목표로 하고 연구 중인 영역이다. 달리 최고과학자는 “리서치 조직에서 프로토 타입을 진행하고 있는 기술 중 하나이며, 제품 영역에 적용할 수 있기를 기대하고 있다”라고 밝혔다.</p> <figure class="figure_frm origin_fig" contents-hash="93ceef3a8d8454808ba9635dc4abe21a5a0da901f64caa09a69949f69f82ab22" dmcf-pid="yTL1eZ9URF" dmcf-ptype="figure"> <p class="link_figure"><img alt="빌 달리 엔비디아 최고과학자 겸 리서치 부문 부사장이 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 엔비디아 리서치 팀이 연구 중인 내용을 소개하고 있다. [사진 = 정호준 기자]" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202603/19/mk/20260319134805710tplf.png" data-org-width="700" dmcf-mid="22WMlQcnLB" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202603/19/mk/20260319134805710tplf.png" width="658"></p> <figcaption class="txt_caption default_figure"> 빌 달리 엔비디아 최고과학자 겸 리서치 부문 부사장이 18일(현지시간) 미국 새너제이에서 열린 ‘GTC 2026’ 세션에서 엔비디아 리서치 팀이 연구 중인 내용을 소개하고 있다. [사진 = 정호준 기자] </figcaption> </figure> <div contents-hash="89daf05da010537330031e725a9caf2d0362a220591df9c79a454d1c06f8130e" dmcf-pid="Wyotd52uit" dmcf-ptype="general"> 인공지능(AI) 생태계는 AI 에이전트 등 사용 분야가 대폭 확장되면서, 추론 중심으로 무게 중심이 옮겨가고 있다. </div> <p contents-hash="3584f1431ca36eb36d9289e9c2720f5f96f0260049f8a552eafc167ad0f5094e" dmcf-pid="YWgFJ1V7J1" dmcf-ptype="general">젠슨 황 엔비디아 최고경영자(CEO)가 GTC 2026에서 “추론의 변곡점이 도래했다”고 강조하며 추론 특화 반도체를 공개한 것도 같은 맥락이다. 리서치 조직의 연구도 이같은 미래를 위한 선제적인 준비로 볼 수 있다.</p> <p contents-hash="bbbc449313e24facb7e45802b88689ac0b6cb0e60feef371b2798ae5d9e3b797" dmcf-pid="GYa3itfzL5" dmcf-ptype="general">달리 최고과학자는 리서치 조직이 집중하고 있는 또 다른 분야로 ‘강화 학습 기반 사전 훈련’을 꼽았다. 그는 “AI는 이제 학습할 수 있는 데이터가 고갈된 상태”라며 “더 적은 데이터로 높은 정확도를 얻기 위해 사전 학습 단계에서 강화 학습을 활용하고 있다”고 설명했다.</p> <p contents-hash="ead4c0b370d651e5fb9befe4119e88e46bceafa063d39ad890bedd01b1e64b57" dmcf-pid="HGN0nF4qdZ" dmcf-ptype="general">기존 모델 훈련은 데이터를 넣어가며 AI가 다음 토큰을 맞추게 하는 사전 학습을 진행한 후, 미세 조정(파인 튜닝)과 강화 학습 등으로 진행된다.</p> <p contents-hash="8de20f3d68cd1bdaf447c695223fb1213a8b509df5c4d0e45150aea2f95c4225" dmcf-pid="XHjpL38BLX" dmcf-ptype="general">엔비디아 리서치 팀은 강화 학습 방식을 사전 학습 단계로 가져와 처음부터 정답을 맞히게 하지 않고 문제를 탐색하고 추론해 보도록 지시했다. 그리고 AI가 그 과정을 거쳐 답을 도출하며 얻은 정보량에 기반해 모델에 보상을 제공하면서 학습을 진행했다.</p> <p contents-hash="8d9e0051f73c10350ec041967aff6cdf76dec65e317391993ffb3530983d48e6" dmcf-pid="ZXAUo06beH" dmcf-ptype="general">엔비디아 자체 모델인 ‘네모트론 12B’ 모델의 경우, 20조개 토큰으로 훈련된 기반 모델에 2500만개 토큰만 이같은 방식으로 학습시킨 결과 성능이 35% 향상됐다고 달리 최고과학자는 설명했다.</p> <p contents-hash="cf2c2b362f60e2546c5a4378b6a850a7ecebfdf8880872cb6cdd3121c64b5639" dmcf-pid="5ZcugpPKRG" dmcf-ptype="general">마지막으로 달리 최고과학자는 엔비디아가 연구하고 있는 로보틱스 파운데이션 모델인 ‘그루트(GR00T)’를 소개하며 코스모스 플랫폼을 활용한 합성 데이터 활용과 모델 증류 기술을 설명했다.</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 이승철, 올해 가을 손주 본다…“젊은 할아버지 돼 너무 좋아” 03-19 다음 ‘발로란트’ 2026 시즌 액트2 요원 ‘믹스’ 등 추가 업데이트 03-19 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
