스스로 똑똑해지는 AI…GPU 부족이 걸림돌? [AI 엑스파일]

작성일 08-20

<div id="layerTranslateNotice" style="display:none;"></div> 
 <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> 
 <section dmcf-sid="XqVESSaVWV">
 <figure class="figure_frm origin_fig" contents-hash="663c10eece5e34a6e4f77772bfdc777f86bd52873c1376f3bfab60eb8eb06d30" dmcf-pid="ZBfDvvNfT2" dmcf-ptype="figure">
 <img alt="ChatGPT Image" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/20/ked/20250820070242020wllk.jpg" data-org-width="1200" dmcf-mid="pE3NNN41Wb" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/20/ked/20250820070242020wllk.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 ChatGPT Image
 </figcaption>
 </figure>
 
 <figure class="figure_frm origin_fig" contents-hash="2b170690e775b2b7454bd26ef902003d08aba66f9b100f404eaa1219d1ddf9f0" dmcf-pid="1K8ryyA8hK" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/20/ked/20250820070243235wdul.jpg" data-org-width="681" dmcf-mid="U4Zaaaf5lB" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/20/ked/20250820070243235wdul.jpg" width="658">
 </figure>
 컴퓨팅 자원 부족으로 병목 현상이 항상 나타납니다. 현재 우리는 강화학습(RL) 방법으로 이전보다 훨씬 적은 데이터로 효율적인 알고리즘을 개발했습니다. 하지만 여전히 많은 컴퓨팅 자원이 필요합니다. 예를 들어 사람이 만든 특정 과제를 하나, 열 개 혹은 백 개로 생각해봅시다. 인공지능(AI) 모델은 하나의 과제를 해결하기 위해 한 번 또는 열 번이 아니라 수만 번씩 여러 차례 시도합니다. 그리고 거기서 최상의 결과를 골라 학습합니다. 인간 디자이너로 얻을 수 있는 인적 레버리지는 극도로 높습니다. 하지만 이런 방식이 실제 효과적으로 작동하기 위해 투입해야 하는 컴퓨팅 자원 양 역시 비례해서 커집니다. -지난 16일 유튜브 채널 'Latent Space'에서 그렉 브록만
  그렉 브록만은 누구
 <figure class="figure_frm origin_fig" contents-hash="2111d11ba8f2070561503baae3215d448ca5efb2cc7114697a57a8ff7da74932" dmcf-pid="3VQOGGEQvq" dmcf-ptype="figure">
 <img alt="Steve Jennings / Getty Images" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/20/ked/20250820070244487zbje.jpg" data-org-width="1026" dmcf-mid="uQi333CnTq" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/20/ked/20250820070244487zbje.jpg" width="658">
 <figcaption class="txt_caption default_figure">
 Steve Jennings / Getty Images
 </figcaption>
 </figure>
 오픈AI의 공동 창업자. 미국 매사추세츠공대(MIT)를 중퇴하고 2010년 결제 플랫폼인 '스트라이프'에 합류해 최고기술책임자(CTO)를 맡았다. 2015년 스트라이프를 떠나 샘 올트먼, 일리아 수츠케버 등과 오픈AI를 공동 창업했다. 오픈AI에서는 첫 CTO를 맡아 '오픈AI Gym', '도타2 AI 봇 등 다양한 프로젝트를 주도했다. GPT-2, GPT-3, GPT-4, GPT-5 등 대규모언어모델(LLM)의 개발에도 참여했다.
  그렉 브록만이 하고 싶은 얘기는
 AI 발전의 병목 현상이 '인간이 만드는 데이터'에서 '컴퓨팅 파워(계산 능력)'로 옮겨갔다'는 주장이다. 과거의 AI는 인간이 만든 수많은 '정답' 데이터를 일일이 학습해야 했다. 하지만 이제 일명 '강화학습(RL)' 같은 새로운 방식 덕분에 AI가 마치 게임을 하듯 수많은 시도를 통해 스스로 정답을 찾아낼 수 있게 됐다.
 과거 방식인 지도 학습은 이런 식이다. AI에 고양이 사진 100만 장을 보여주며 '이게 고양이야'라고 일일이 가르치는 것과 같다. 인간의 데이터(정답) 제작 노력이 많이 필요했다.
 최근의 강화학습(RL)은 다르다. AI에 '최고의 결과를 만들어내라'는 목표만 준다. AI 스스로 수만 번의 무작위 시도하게 한다. 그중 가장 결과가 좋았던 방식을 스스로 학습하게 하는 것이다.
 다른 예로 AI 로봇에게 팔로 물건을 집는 법을 가르친다고 가정해보자. AI는 처음에는 허공을 휘젓거나 물건을 쳐서 떨어뜨리는 등 수천 번의 실패를 반복한다. 그러다 우연히 물건을 살짝 잡는 데 성공하면 보상받는다. AI는 이 '보상'을 기억하고 '어떻게 하니 보상받았지?'를 분석한다. 점점 더 정교하게 물건을 잡는 법을 터득한다.
 이 과정에서 수만, 수억 번의 시도(계산)가 필요하다. 이것이 바로 막대한 컴퓨팅 자원을 소모하는 이유다. 인간의 노력은 줄었지만 AI가 시도하는 데 필요한 막대한 양의 컴퓨터 자원(전기, GPU 등)이 필요해졌다.
 <figure class="figure_frm origin_fig" contents-hash="071c71ea426ec3b8eae983234f1788a3c53117178b1fed4b7af258f4f6f667d9" dmcf-pid="BZ0JkkQ0vF" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/20/ked/20250820070245731rlky.jpg" data-org-width="758" dmcf-mid="71WiiibYSz" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/20/ked/20250820070245731rlky.jpg" width="658">
 </figure>
 예를 또 들어 보자. 신입 요리사에게 1000개의 요리에 대한 아주 상세한 레시피(데이터)를 준다. 그대로 따라 하게 한다. 이 방법을 위해선 1000개의 레시피를 만드는 데 엄청난 노력이 필요하다. 이것이 과거의 AI 학습 방식이다.
 지금은 다르다. 재능 있는 신입 요리사에게 최고의 주방(컴퓨팅 자원)을 제공한다. '세상에서 가장 맛있는 파스타를 요리하라'라는 목표만 설정한다. 이 요리사는 수천 번의 실패(재료 낭비와 시간 낭비)를 거듭한 끝에 아무도 생각지 못한 최고의 레시피를 발명한다. 최신 LLM 모델이 이런 식이다.
 "인간 디자이너로 얻을 수 있는 인적 레버리지는 극도로 높다"는 브록만이 설명도 관련이 있다. 지금은 과거처럼 인간이 모든 데이터를 만들 필요 없다. 이제 AI가 학습할 환경과 목표만 잘 설계해주면 된다. 인간의 역할이 '데이터 생산자'에서 'AI 훈련 환경 설계자'로 바뀐 것이다.
 한 명의 뛰어난 엔지니어가 만든 이 설계는 AI의 대규모 시도를 통해 인간의 능력을 훨씬 뛰어넘는 결과를 낳을 수 있다. 이것이 바로 인간의 노력이 지렛대(레버리지)처럼 증폭되는 효과로 나타난다.
 하지만 인간이 더 복잡하고 어려운 과제(신약 개발 등)를 설계할수록 AI가 정답을 찾기 위해 시도하는 경우의 수는 기하급수적으로 늘어난다. 인간의 창의적인 설계(레버리지)가 커질수록 그것을 구현하기 위한 컴퓨팅 비용도 비례해서 폭발적으로 증가하게 된다.
 실제 오픈AI의 추론형 LLM인 o1 계열은 대규모 강화학습(RL)으로 '생각하는 법(사고 연쇄)'을 학습한다. 이런 접근은 사람의 데이터 라벨링(직접 지도 학습)의 의존도를 낮춘다.
 모델이 스스로 많이 시도하고 자기 평가와 검증을 거쳐 최선을 고르도록 AI 학습 방식을 설계한다. 오픈AI 시스템 카드에는 o1이 '대규모 RL로 사유(Chain‑of‑Thought)를 학습하고 테스트‑타임 컴퓨트(test‑time compute)를 활용한다'고 적혀 있다.
 <figure class="figure_frm origin_fig" contents-hash="d393384baf23544487aeba95138fc098a7d53e0b8ece1aebe5b34a4f4993d6dc" dmcf-pid="8UbjIInbTY" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/20/ked/20250820070246950qmix.jpg" data-org-width="732" dmcf-mid="zdGLLL9Hl7" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/20/ked/20250820070246950qmix.jpg" width="658">
 </figure>
 일각에선 AI 고도화 과정에서 인간의 개입이 그렇게 크게 줄지 않았다는 지적도 있다. 과거에는 '고양이 사진'에 '고양이'라고 정답(레이블)을 다는 단순노동이 필요했다. 지금은 AI가 생성한 두 개의 답변 중 '어느 쪽이 더 나은가?'를 인간이 직접 판단하고 평가하는 고품질의 피드백 데이터가 대량으로 필요하다.
 인간의 역할이 '단순 데이터 생산자'에서 'AI의 행동을 교정하는 교사 및 평가자'로 바뀌었다. 이는 인간에게 더 높은 수준의 판단력을 요구한다. 그래서 여전히 막대한 인적 자원이 투입된다.
 대규모 컴퓨팅 자원이 필요한 다른 이유도 있다. AI 모델 자체의 규모(Scale)가 커졌기 때문이다, 수천억 개에서 조 단위의 매개변수(파라미터)의 거대 모델을 한 번 학습시키는 데 천문학적인 컴퓨팅 자원이 필수다.
 강화 학습은 이미 거대해진 모델을 미세 조정하고 개선하는 과정에서 추가적인 컴퓨팅 파워를 요구한다. 브록만은 컴퓨팅 병목의 주된 원인이 모델의 '규모'를 설명하지 않았다는 지적이다.
 브록만이 강화학습(RL) 방식을 과대평가했다는 의견도 있다. 그는 목표만 주면 AI가 알아서 학습하는 마법처럼 강화학습을 묘사했다. 하지만 수많은 현실적인 어려움이 있다. 일명 '보상 설계의 함정'이 대표적이다. AI에 '최고의 결과를 만들어내라'는 목표(보상)를 설정하는 것은 매우 어렵다.
 잘못 설계된 보상 함수는 AI가 꼼수를 발견하고 보상 극대화만 실행하게 할 수 있다. 실제 목표는 달성하지 못하는 '보상 해킹' 문제로 이어질 수 있다. 예를 들어 청소 로봇에게 '쓰레기를 많이 주울수록 높은 보상'을 주면 쓰레기를 줍는 대신 스스로 쓰레기를 만들어 줍는 행위를 학습할 수 있다.
 <figure class="figure_frm origin_fig" contents-hash="b1db50a383017f4d26f7b96589633704b3047ca1f3ebdf943ae62d2af53f9573" dmcf-pid="Y4MCXXwMTh" dmcf-ptype="figure">
 <img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202508/20/ked/20250820070248174iopl.jpg" data-org-width="766" dmcf-mid="qBammmdzWu" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202508/20/ked/20250820070248174iopl.jpg" width="658">
 </figure>
 <div contents-hash="4b856c64c6fe2870a919efa38a0bfc121f451ebf138f748c500b76963bfda7f2" dmcf-pid="G8RhZZrRTC" dmcf-ptype="general">
 강화학습이 매우 민감하고 불안정한 것도 문제다. 작은 초깃값 변화에도 학습 결과가 크게 달라지거나 아예 학습에 실패하는 경우도 많다. 수만 번의 시도만 하면 언제나 성공적인 결과를 얻을 수 있는 안정적인 기술이 아니다.
 <div>
 [AI 엑스파일은 글로벌 AI 산업, 학계 등의 최전선에서 AI를 고민하는 이들의 얘기를 전달합니다. 색다른 AI 이슈를 편하게 보시려면 기자 페이지를 구독해 주세요]
 </div>
 </div>
 김주완 기자 kjwan@hankyung.com  
 </section> 
 </div> 
 Copyright © 한국경제. 무단전재 및 재배포 금지.

등록된 댓글이 없습니다.

로그인한 회원만 댓글 등록이 가능합니다.

먹튀폴리스

스스로 똑똑해지는 AI…GPU 부족이 걸림돌? [AI 엑스파일]

멤버랭킹

관련자료

멤버랭킹