포스트-LLM 시대 : AI 모델 기반, ‘워드(words)’에서 ‘월드(world)’로 이동하나 [AI와 함께하는 세상] 작성일 12-11 17 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="QyXn3DV7Cz"> <p contents-hash="42979734c067fab93e4d58dbc7f3c4e5b7c344c17502ae12864401fff05be964" dmcf-pid="xWZL0wfzW7" dmcf-ptype="general"><strong>데카르트의 오류</strong></p> <p contents-hash="bae49da823269fc7d56f790aae22019f5d9d0989d6f6cd7556f5977f139b4043" dmcf-pid="yMi1NBCEWu" dmcf-ptype="general">인간은 언어를 초월하여 문명을 건설한다. 에이전트 AI와 피지컬 AI 등 물리적 세상 인식에 대한 필요성이 커지면서 거대언어모델(LLM)의 한계도 선명해지고 있다. LLM은 방대한 언어정보로부터 확률적 맞춤을 통해서 그럴듯한 답을 내놓지만, 사실 그에겐 ‘가을’이 뭔지, ‘단풍’이 얼마나 아름다운지 알 길이 없다.</p> <p contents-hash="bb3441e2623ec535d2b7d751d21c46b044637dd2cb924afd75160e5c28cc4716" dmcf-pid="WRntjbhDyU" dmcf-ptype="general">LLM은 이러한 근원적 고민이 없기에 데카르트의 오류에 빠지기 쉽다. 우리가 주말에 가을 단풍이 즐비한 산에 올라가느냐, 책을 읽기 위해 도서관에 가느냐와 같은 방향은 현실적 감성으로 정해진다. 하지만 언어 모델 LLM에는 그런 감성과 인식이 없다. 그저 주어진 매뉴얼 대로 서적을 필사하는 성실한 서기이다. 즉 LLM은 물리 세계에 대한 이해 부재, 조각난 기억, 기억의 연속성 부재, 인과관계에 기초한 추론 능력 부족, 장기적 계획 능력 부재, 발산적 사고 부재 등이 문제점으로 지적된다.</p> <p contents-hash="4b0cd0ec57aad6f545e5ed57420fcdbb8d97f109e1801a8b93fe0a4ef7c2a7e2" dmcf-pid="YeLFAKlwyp" dmcf-ptype="general"><strong>어린아이처럼 배우는 AI</strong></p> <p contents-hash="a2831e611791dbb9df0691aac61c6440edef7e351691767f0c1e9b129d72b7fd" dmcf-pid="Gdo3c9SrT0" dmcf-ptype="general">그 대안으로 ‘월드 모델(World Model)’에 대한 연구가 한창이다. 이름은 거창하지만, 개념은 의외로 단순하다. 아이가 세상을 배우는 방식을 AI에도 그대로 적용하자는 것이다. 스위스 심리학자 장 피아제(Jean Piaget)의 이론에 대입하자면, 아이들은 블록을 쌓다가 무너뜨리면서 ‘떨어지는’ 감각(중력의 법칙)을 인지하고, 숨바꼭질하며 ‘엄마가 안 보여도 어딘가에 존재한다’는 대상 영속성(Object Permanence)을 깨닫는다.</p> <p contents-hash="9ab218ff4686d8c80f3092593366cbc4cb4283239ddd306cef172bc8bed9b987" dmcf-pid="HJg0k2vmT3" dmcf-ptype="general">월드 모델은 AI에게 텍스트만 읽지 말고, 실제 세계를 보고 듣고 느끼면서 배우라는 것이다. 마치 자전거 타는 법을 배운 아이가 롤러블레이드도 금방 배우는 것처럼, 현실 세계에서 진짜 AI가 된다는 뜻이다. 아이는 적은 예시로도 빠르게 배우며, 머릿속으로 여러 상황을 추론·계획하며, 지식을 일반화하여 다른 상황에 적용(전이 학습)한다. 즉, 월드 모델은 아이(AI)에게 인간의 능력을 부여하려는 시도다. 아이들처럼 먼저 감각 데이터를 받아들이고(Perception), 이를 머릿속에서 개념으로 정리한 뒤(Representation), 논리적으로 추론하고(Reasoning), 마침내 새로운 상황에도 적용한다(Generalization).</p> <p contents-hash="41fbfec7583ca92f7b71381158509661974b19453285d4e0e670b2e76da0c701" dmcf-pid="Xgczm6GhSF" dmcf-ptype="general">월드 모델은 텍스트 기반 AI의 한계를 넘어, 현실 공간을 직접 모사하여 로봇과 AI에이전트가 주변 환경을 이해하고 예측하도록 해준다. 즉, 현재의 관찰과 행동을 바탕으로 미래를 예측하며, 숨겨진 부분이나 잠재적인 결과를 추론하여 세계를 일관되게 보게 한다. 이와 같은 예측 방식을 사용해 다양한 가상 시나리오를 시뮬레이션하고 목표 지향으로 최적의 행동 계획을 수립한다.</p> <figure class="figure_frm origin_fig" contents-hash="d865ffcfae46f92e02c99413f08c0b286b3c4e3bd405fa0ac3ad86ee286b44d4" dmcf-pid="ZakqsPHlSt" dmcf-ptype="figure"> <p class="link_figure"><img alt="월드 모델의 거장들(필자가 Gemini로 생성함)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/11/mk/20251211085104844zlwr.png" data-org-width="351" dmcf-mid="96s5aqIkWf" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/11/mk/20251211085104844zlwr.png" width="658"></p> <figcaption class="txt_caption default_figure"> 월드 모델의 거장들(필자가 Gemini로 생성함) </figcaption> </figure> <div contents-hash="63a1b1c532ffe0413d8b506ccb3dfa51b39286198b8a14806650679680ba4be4" dmcf-pid="5NEBOQXSW1" dmcf-ptype="general"> <strong>월드 모델의 거장들</strong> </div> <p contents-hash="85ab3bc824f616e9e744c1fbc4911e3666bc25a2e7e02ac80bb1cddf03284e12" dmcf-pid="1jDbIxZvl5" dmcf-ptype="general">월드 모델과 유사한 개념은 1990년대 이전부터 인지과학과 강화학습 분야에서 연구되어 왔다. 2018년 데이비드 하(David Ha)와 위르겐 슈미트후버(Jürgen Schmidhuber)가 ‘월드 모델’이라는 명칭과 딥러닝 기반 아키텍처를 제시하면서 개념이 널리 알려졌다. 이 연구는 야구 타자가 공의 궤적과 타이밍을 머릿속에서 예측하는 과정을 예로 들어 설명했다. 이는 뇌가 미래를 시뮬레이션해 빠른 의사결정을 가능하게 한다는 점을 직관적으로 보여준다. 기존 인지과학에서 추상적으로 논의되던 ‘정신적 연습(Mental Practice)’ 개념을 딥러닝 기반 강화학습 시스템으로 구현하려 했다는 점도 특징적이다. 월드 모델은 단순한 환경 반응을 넘어 미래 상황을 예측하고 계획할 수 있게 하여 AGI 연구의 중요한 단초를 제공했다.</p> <figure class="figure_frm origin_fig" contents-hash="924fd6b5654709b9bfa4881c103e0161a1880966f674f4f3f06a73a860aa2d93" dmcf-pid="tAwKCM5TTZ" dmcf-ptype="figure"> <p class="link_figure"><img alt="월드 모델의 대중화에 기여한 데이비드 하와 위르겐 스미트후버(필자가 Gemini로 생성함)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/11/mk/20251211085106119nsbc.jpg" data-org-width="439" dmcf-mid="Vciuw4WIC2" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/11/mk/20251211085106119nsbc.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 월드 모델의 대중화에 기여한 데이비드 하와 위르겐 스미트후버(필자가 Gemini로 생성함) </figcaption> </figure> <div contents-hash="0b1776966ed5afc2092d26e640cb8d3b48350d36bc089c387a7864ce8db86f83" dmcf-pid="Fcr9hR1yCX" dmcf-ptype="general"> 둘째, 페이페이 리(Fei-Fei Li). 이미지넷으로 딥러닝 혁명의 도화선에 불을 붙인 스탠퍼드 교수다. 그녀는 실제 세계를 공간 지능(spatial intelligence)의 관점에서 설명하며, AI가 현실 세계의 3D 구조를 이해하고 조작할 수 있기를 희망하고 있다. </div> <figure class="figure_frm origin_fig" contents-hash="f6371bacb49afeb8511d8144c8c0b35817f6add731a69465950d31a6c46bb244" dmcf-pid="3km2letWCH" dmcf-ptype="figure"> <p class="link_figure"><img alt="페이페이 리(필자가 Gemini로 생성함)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/11/mk/20251211085107392goqo.jpg" data-org-width="345" dmcf-mid="frrPYou5W9" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/11/mk/20251211085107392goqo.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 페이페이 리(필자가 Gemini로 생성함) </figcaption> </figure> <div contents-hash="bd2dc7e5a8b65432f3b55e738e3d7c05e0fb65d32af7421cc8ef1e0975b21f19" dmcf-pid="0EsVSdFYCG" dmcf-ptype="general"> 그녀가 2024년에 설립한 ‘월드랩스(World Labs)’는 언어 중심의 LLM과는 달리, ‘대규모 월드모델 LWM(Large World Model)’을 개발해 물리 세계의 구조와 움직임을 학습시키는 것을 목표로 한다. 언어 모델이 기계에게 읽고 쓰는 법을 가르쳤다면, 월드 모델은 AI가 3차원 공간을 보고, 이해하고, 만들어낼 수 있도록 하는 기술이다. </div> <p contents-hash="698c855b57e7f391dfb5a5a5e6e635de7e74abd6d43b9440918acc511a35b811" dmcf-pid="pDOfvJ3GCY" dmcf-ptype="general">그녀가 2025년에 개발한 상용 월드 모델 ‘마블(Marble)’은 텍스트나 이미지를 입력하면 즉시 편집 가능한 3D 환경을 만들어 낸다. 단순히 그림을 그리는 것이 아니라, 웹페이지 만들기처럼 먼저 3D 공간의 구조를 설계하고, 그 위에 고대 유적, 미래 도시 같은 스타일을 추가하는 방식이다. 생성된 3D 공간은 게임, 영화 특수 효과(VFX), VR, 로보틱스 등 다양한 분야에서 사용될 수 있도록 유니티나 언리얼 엔진으로 내보낼 수 있다.</p> <p contents-hash="1417a102dde42695926368bbf64a87ec08c34fad9a5129ca7e658bcd10789aa1" dmcf-pid="UwI4Ti0HlW" dmcf-ptype="general">중국 후난성 출신인 그녀는 1980년대 초 부모와 함께 미국으로 이주하면서 가난과 언어장벽을 겪은 이민자였다. 프린스턴대학교에서 물리학 학사, 칼텍에서 전자공학 박사 학위를 취득했으며, 이후 스탠퍼드대학교 컴퓨터과학부 교수로 재직하면서 스탠퍼드대 ‘인간 중심의 AI 연구소(Human-Centered AI Institute)’를 공동 설립했다. ‘이미지넷(ImageNet)’ 데이터셋과 챌린지를 창안해 2010년대 컴퓨터 비전·딥러닝 혁명을 촉발한 인물로 평가받는다. 사실 이미지넷 데이터셋이 없었다면, 오늘날 엔비디아의 성공도 없었을지도 모른다.</p> <p contents-hash="83b9281c84c85222e07029352174a60433ec5361d9eec5477817bc9c79ba3c75" dmcf-pid="ufQWJ0Dghy" dmcf-ptype="general">셋째, 챗GPT는 방대한 텍스트를 학습하여 ‘텍스트를 읽는 능력’이 탁월하지만 ‘세상을 체감하는 능력’이 없다. 얀 르쿤(Yann LeCun) 교수 역시 ‘월드 모델’을 통하여 이를 해결하고자 한다. 월드 모델은 마치 아이가 어릴 때부터 공을 던지면 떨어지고, 뜨거운 난로를 만지면 화상을 입는다는 걸 경험으로 알듯이 AI에도 직접 관찰하고 상식을 가르치는 방법이다. 과거의 기억으로부터 현재 상황을 이해하고 미래를 예측할 수 있는 능력을 AI에 부여하려는 시도이다.</p> <figure class="figure_frm origin_fig" contents-hash="d9c11cbed5e99f3ce7e15ab031158bdfe585f224e5ad1e8c2d4cc2983b6a03a1" dmcf-pid="74xYipwaTT" dmcf-ptype="figure"> <p class="link_figure"><img alt="얀 르쿤(필자가 Gemini로 생성함)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/11/mk/20251211085108649yyvr.jpg" data-org-width="298" dmcf-mid="4QIRZjB3WK" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/11/mk/20251211085108649yyvr.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 얀 르쿤(필자가 Gemini로 생성함) </figcaption> </figure> <div contents-hash="baac5f794a49460ea71caf556e46bdf5663cbcb1a22708cf18a720f7bff000be" dmcf-pid="z8MGnUrNvv" dmcf-ptype="general"> 르쿤 교수가 제안한 핵심 기술은 JEPA(Joint Embedding Predictive Architecture)이다. 문자 그대로, 여러 데이터를 결합해서 숫자 형태로 바꾸어 미래를 예측할 수 있도록 구성한 모델이다. 예컨대, ‘공을 던지는’ 행동 하나에도 바람의 방향, 던지는 각도, 힘의 세기에 따라 다양한 결과가 존재한다. JEPA는 이러한 복잡하고 다양한 가능성을 동시에 예측하고 처리하는 모델이다. 더 나아가, JEPA는 계층적 구조를 통해 단순한 미래 예측을 넘어 추상적이고 장기적인 계획 수립까지 가능하게 한다. 마치 아이가 자라며 단순한 인과관계를 넘어 복잡한 사회 현상을 이해하는 것처럼. 스스로 학습(self-supervised learning)과 결합하여 AI가 상식을 축적하도록 한다. </div> <p contents-hash="43fb7112fd92acad45af65115937650565e1f5a43b08fdcdd347845a78555601" dmcf-pid="q6RHLumjhS" dmcf-ptype="general">과거 르쿤은 ‘합성곱 신경망(CNN)’ 연구로 얼굴인식부터 자율주행까지 ‘AI가 세상을 보도록’ 했다. 우편번호 인식 등 실세계 적용으로 딥러닝의 기반을 마련했으며, 이는 세계 모델의 예측 학습으로 확장되어 튜링상을 수상했다. 메타(페이스북)의 AI 연구소를 이끌었던 그가 스타트업에 도전하는 것도 흥미롭다. 로봇이 스스로 배우고 자율주행차가 인간처럼 판단하는 미래를 그렸듯이, 그의 도전은 ‘AI가 세상을 이해하고 예측하게’ 만들기 위함이다.</p> <p contents-hash="7bf078ed13a0fc3491443ecf284f6c57e047c9954e8791c3aa080ac5f44d611e" dmcf-pid="BPeXo7sASl" dmcf-ptype="general"><strong>월드 모델은 ‘포스트 LLM’ 시대의 주역이 될까?</strong></p> <figure class="figure_frm origin_fig" contents-hash="930346b4a9aee1b903290aae77b5acbb53611cb01abdbaf8ff8d8779e97b5077" dmcf-pid="bQdZgzOclh" dmcf-ptype="figure"> <p class="link_figure"><img alt="데비스 허사비스(필자가 Gemini로 생성함)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/11/mk/20251211085109930nglk.jpg" data-org-width="274" dmcf-mid="8fWe5Ab0lb" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/11/mk/20251211085109930nglk.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 데비스 허사비스(필자가 Gemini로 생성함) </figcaption> </figure> <div contents-hash="8d070b931b70e8e78004e087883de98e31d3880880c0e45a0eee8ef06a174528" dmcf-pid="KxJ5aqIkCC" dmcf-ptype="general"> 인간의 의사소통 중 언어가 차지하는 비중은 전체의 10%에 불과하다. 아이들은 언어를 배우기 전 이미 감각으로 세상을 이해한다. 그런 점에서 패턴 인식을 넘어 세상이 작동하는 원리 자체를 이해하는 문제는 현재의 AI혁신을 위해서 매우 중요하다. </div> <p contents-hash="0160a8898bd52307b4079dbfbea3fd90c8348ed4086e0947d4a1fcc03c02148f" dmcf-pid="9Mi1NBCEyI" dmcf-ptype="general">앞의 거장들 외에도 구글 딥마인드의 CEO 데미스 허사비스 역시 진정한 AI가 되기 위해서는 월드 모델이 필요하다고 강조했고, 그 개념을 구현한 Genie 3를 내놓았다. 게다가 최근에는 아마존 창업자 제프 베조스가 제조에 특화된 AI 월드 모델 ‘프로젝트 프로메테우스(Project Prometheus)’에 대규모 자금을 투자하고 공동 CEO로 합류하면서 월드 모델의 가치를 크게 올려놓고 있다.</p> <figure class="figure_frm origin_fig" contents-hash="88d53432aee2d303aa28acded491cd6c00e70bf5ba090849a8c61e1a5b6c4551" dmcf-pid="2RntjbhDyO" dmcf-ptype="figure"> <p class="link_figure"><img alt="제프 베조스(필자가 Gemini로 생성함)" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/11/mk/20251211085111175yjxs.jpg" data-org-width="286" dmcf-mid="6aDbIxZvhB" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/11/mk/20251211085111175yjxs.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 제프 베조스(필자가 Gemini로 생성함) </figcaption> </figure> <div contents-hash="acabc3ec48c8e08882cc455f2d11c061bbc8d196ca6369bf46c0a6146f17dfed" dmcf-pid="VeLFAKlwWs" dmcf-ptype="general"> 앞으로 이 기술이 로보틱스·물류·산업 자동화 등 다양한 분야에서 막대한 경제적 가치를 창출할 것이라는 기대도 커지고 있다. 비록 데이터 부족과 복잡한 물리 법칙 학습이라는 과제가 남아 있지만, 그래도 희망 가득 실어 질문을 던져본다. 과연 월드 모델은 AGI를 앞당길 ‘포스트 LLM’ 시대의 주역이 될 것인가? </div> <figure class="s_img figure_frm origin_fig" contents-hash="77ebd3cdc26508ff2231e9c98d62efc69080b39eb4e6cf142744b1a3e0397c2b" dmcf-pid="fdo3c9SrWm" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202512/11/mk/20251211085112482tmbo.jpg" data-org-width="214" dmcf-mid="POWe5Ab0Tq" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202512/11/mk/20251211085112482tmbo.jpg" width="214"></p> </figure> <div contents-hash="98f82f4a5ff5a12ed27f39b2d3a600c935db20a5963a66e7357794b83812ccbe" dmcf-pid="4UBmfWnQSr" dmcf-ptype="general"> [여현덕 카이스트 G-School 원장/기술경영대학원 교수] </div> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 ETRI, 1kg 이하 초경량 탄성슈트 개발 12-11 다음 카카오모빌리티 '플랫폼 파트너·지역사회·환경'과 지속성장 12-11 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
