[T나는 과학] '영화 속 아이언맨'은 뭐가 보일까?...상상을 현실로 보여주는 AI 작성일 02-23 40 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">보도기사</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="0rZTXktWpM"> <figure class="figure_frm origin_fig" contents-hash="8d32e1561d1f47a1c7e4a69e0d0b9be97f6ad44c7b6da4a70b37da1539f9538c" dmcf-pid="pm5yZEFY7x" dmcf-ptype="figure"> <p class="link_figure"><img alt="히어로 영화 속 헐크의 시점을 상상해 보여주는 인공지능 에고엑스" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111212807jutj.jpg" data-org-width="600" dmcf-mid="5oxVQFe43i" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111212807jutj.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 히어로 영화 속 헐크의 시점을 상상해 보여주는 인공지능 에고엑스 </figcaption> </figure> <div contents-hash="a92e32b095ae284fa785d22f891617acf8d8a3b260212292540622cc667b7997" dmcf-pid="Us1W5D3GUQ" dmcf-ptype="general"> <div> ◆ 내가 '영화 속 아이언맨'이 된다면? <br> <br>하늘을 나는 히어로 영화 속 아이언맨. 배트맨과 싸우는 악당 조커. 우리는 영화의 관객으로서 '3인칭 시점'으로 화면 속 이들을 바라봅니다. <br> <br>만약 내가 영화 속 등장인물이 된다면 어떤 모습이 내 눈 앞에 펼쳐질까요? 그 상상을 현실로 바꿔주는 AI 기술이 개발됐습니다. 그것도 사진이 아닌 생생하게 움직이는 동영상으로요. <br> <br>최근 증강현실(AR), 가상현실(VR)과 AI 로봇 기술이 빠르게 발전하면서 '내가 직접 보는 장면'을 그대로 담은 1인칭 시점 영상(Egocentric video)의 중요성이 커지고 있습니다. 하지만 고품질의 1인칭 영상을 얻기 위해서는 사용자가 고가의 액션캠이나 스마트 글래스를 직접 착용해야 하는 한계는 여전합니다다. <br> <br>또 이미 촬영된 일반 영상(제3자 시점, Exocentric video)을 1인칭 시점으로 자연스럽게 변환하는 데에도 기술적 제약이 존재했습니다. <br> <br>기존 기술은 정지 이미지만 변환하거나 4대 이상의 카메라 영상이 필요한 경우가 많고, 빛의 방향이나 움직임이 복잡한 동영상에서는 화면이 심하게 어색해졌기 때문입니다. </div> </div> <figure class="figure_frm origin_fig" contents-hash="a2dd8719b0abaf2e5d054635fb6ab169402526bba38aa3e4cafa336f84dcdce3" dmcf-pid="uOtY1w0HuP" dmcf-ptype="figure"> <p class="link_figure"><img alt="영화 속 치료를 받는 아이언맨. 오른쪽은 여성 주인공의 시점으로 새로 그려낸 장면." class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111212952vydo.jpg" data-org-width="600" dmcf-mid="1ZyITgGh0J" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111212952vydo.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 영화 속 치료를 받는 아이언맨. 오른쪽은 여성 주인공의 시점으로 새로 그려낸 장면. </figcaption> </figure> <div contents-hash="440e1d156a33c1ceeb3729cd8a2615040284cc0d32c5ca7e9176ea51d18c4835" dmcf-pid="7T7tuhB336" dmcf-ptype="general"> <div> <br>◆ 3차원 공간 이해하는 인공지능 <br> <br>KAIST 김재철AI대학원 주재걸 석좌교수 연구팀은 관찰자 시점의 영상만을 활용해 영상 속 인물이 실제로 보고 있었을 장면을 정밀하게 생성하는 인공지능 모델 '에고엑스(EgoX)'를 개발했습니다. <br> <br>단순히 화면을 회전시키는 수준을 넘어, 인물의 위치와 자세, 주변 공간의 3차원(3D) 구조를 종합적으로 이해한 뒤 이를 기반으로 1인칭 시점 영상을 재구성한다는 점이 가장 큰 특징입니다. <br> <br>또 에고엑스를 사용하면 '단 하나'의 3인칭 시점 영상만으로도 고품질의 1인칭 영상을 생성할 수 있는데, 연구팀은 특히 인물의 머리 움직임과 실제 시야 사이의 상관관계를 정밀하게 모델링함으로써, 고개를 돌릴 때 시야가 자연스럽게 전환되는 모습까지 사실적으로 구현하는 데 성공했습니다. <br> <br>다시 말해, 특정 환경에 국한되지 않고 요리, 운동, 작업 등 다양한 일상 상황에서도 안정적인 성능을 보인 건데, 별도의 웨어러블 장치를 착용하지 않고도 기존에 축적된 영상으로부터 고품질의 1인칭 시점 데이터를 확보할 수 있는 새로운 가능성을 열게 된 겁니다. </div> </div> <figure class="figure_frm origin_fig" contents-hash="fc3960cd55f910d0d7521870523a545329d168d40e17abea800ad82f83e9d3a7" dmcf-pid="zyzF7lb0u8" dmcf-ptype="figure"> <p class="link_figure"><img alt="탁구 경기와 같은 역동적인 장면도 1인칭 영상으로 구현 성공" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111213092qesd.jpg" data-org-width="600" dmcf-mid="tOwNDPsA7d" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111213092qesd.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> 탁구 경기와 같은 역동적인 장면도 1인칭 영상으로 구현 성공 </figcaption> </figure> <div contents-hash="bd4c4912e47111d567d95d8df936a570970565cf1e6c66c7063e89916580a048" dmcf-pid="qWq3zSKpz4" dmcf-ptype="general"> <div> <br>◆ 언제든 '1인칭' 영상으로 변환 <br> <br>에고엑스는 향후 다양한 산업 분야에 상당한 파급력을 미칠 것으로 기대됩니다. AR·VR 및 메타버스 분야에서는 일반 영상을 사용자가 직접 체험하는 듯한 몰입형 콘텐츠로 전환해 사용자 경험을 극대화할 수 있을 걸로 보입니다. <br> <br>또 로봇이 사람의 행동을 보고 학습하는 모방 학습(Imitation Learning)의 핵심 데이터로 활용될 수 있어 로봇과 AI 학습 분야에도 기여할 것으로 전망됩니다. 스포츠 중계나 브이로그를 선수나 주인공의 시점으로 전환하는 등 새로운 형태의 영상 서비스도 가능해질 것으로 기대됩니다. <br> <br>TJB는 이번 연구에 중추적인 역할을 한 연구진들을 직접 만나 더 궁금한 점들을 물어봤습니다. 아래는 이를 일문일답 방식으로 정리한 내용입니다. </div> </div> <figure class="figure_frm origin_fig" contents-hash="201bf8d6b8cc7986d7899ba517e7e7620b5cc91da8556ac6f290c50a89a8adc0" dmcf-pid="BYB0qv9UUf" dmcf-ptype="figure"> <p class="link_figure"><img alt="TJB와 인터뷰하는 주재걸 KAIST 김재철AI대학원 석좌교수" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111213237iwjw.jpg" data-org-width="600" dmcf-mid="FGIEOelwFe" dmcf-mtype="image" height="auto" src="https://img2.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111213237iwjw.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> TJB와 인터뷰하는 주재걸 KAIST 김재철AI대학원 석좌교수 </figcaption> </figure> <div contents-hash="fbe16c6536e65c177a2481dcb09a227c43b60ee979efab47790583fb2f6956be" dmcf-pid="bGbpBT2u0V" dmcf-ptype="general"> <div> <br>[다음은 주재걸 KAIST 김재철AI대학원 석좌교수와의 일문일답] <br> <br>- 어떤 기술인지 요약하자면? <br> <br>= 생성형 AI 기술을 활용해 3인칭 시점의 어떤 비디오 영상을 받아서 거기에 등장하는 특정 피사체가 1인칭 시점에서 봤을 때의 영상을 생성하는 기술. <br> <br>- AI가 어떤 학습 과정 거친 건지? <br> <br>= 동일한 장면에 대해 1인칭 영상을 촬영한 것과 3인칭 카메라로 촬영한 것, 2개의 영상의 쌍을 가지고 학습을 진행해. <br> <br>- 기존 3인칭 시점에서는 보이지 않는 뒷배경은 어떻게 그려내나? <br> <br>= 비디오나 이미지를 생성할 수 있는 생성형 AI 기술들이 요즘 많이 각광받고 있는데. 그러한 기술에서 출발해 다양한 상상한 나래를 펼쳐서 영상을 최대한 고품질로 만들어 낼 수 있는 능력을 탑재한 AI 기술을 활용. <br> <br>시점이 1인칭으로 변환됐을 때 3인칭 영상에서 미처 보이지 않았던 그런 장면이나 물체들을 자연스럽게 생성하는 부분들이 작용하는 방식. <br> <br>- 생성된 영상이 인물들의 흔들리는 시야도 따라가던데? <br> <br>= 주어진 3인칭 영상에서 등장하는 피사체의 머리 움직임이나 자세가 바뀜에 따라서 그 사람의 1인칭 시점으로 봤을 때는 그 영상들 또한 그에 맞추어 역동적으로 변하는 게 중요. <br> <br>이런 부분들을 AI 기술들이 잘 캐치해서 그 사람의 시선이나 머리, 자세의 움직임들을 충실하게 반영한 1인칭 영상을 만들어 주게 돼. <br> <br>- 추후 다양한 분야에서 파급 효과가 기대되는데? <br> <br>= 기본적으로는 가상현실이나 증강현실에 필요한 콘텐츠를 만드는 데 많이 활용될 걸로 보여. 이외에도 요즘 각광받고 있는 피지컬 AI에서 이 로봇이 실제로 로봇에 탑재된 카메라를 통해서 어떤 임무를 수행할 떄 이 로봇이 특정 기능을 수행하는 AI 기술을 학습할 때 사용하는 '학습 데이터'로서 주된 활용처가 될 걸로 기대. <br> <br>- 피지컬 AI에도 활용이 된다는 게 무슨 의미인지? <br> <br>= 피지컬 AI 분야에서 로봇이 여러 기능이나 테스크를 학습하는 데 다양한 시점, 즉, 3인칭이나 1인칭 등의 비디오가 필요한데, 로봇이 일일이 어떤 환경이나 장면에 대한 비디오 데이터를 구해 학습을 하는 건 기술적, 현실적으로 많은 한계가 있어. <br> <br>그런 경우 기존에 찍어둔 3인칭 영상을, 로봇이 그 임무를 수행했을 때에 나타날 법한 1인칭 영상으로 변환을 한다면, 로봇이 학습하는 데에 사용하는 그 학습 데이터로 활용될 수 있을 걸로 보여. <br> <br>- 추후 에고엑스의 발전 지점이 있다면? <br> <br>= 3인칭 영상으로 봤을 때 실제로 보이지 않는 부분들을 보다 더 정교하게 생성해 내는 부분들이 중요. 예를 들어 수술 장면에서 사람의 손이나 손이 잡고 있는 어떤 도구들의 정교한 위치나 움직임을 충실히 1인칭 변환 영상에서 반영되게끔 고도화할 계획에 있어. </div> </div> <figure class="figure_frm origin_fig" contents-hash="69c87226c6f4bdd5aac3c502f0d57f98e7db69d3752b3396af939679617c3c2b" dmcf-pid="KHKUbyV772" dmcf-ptype="figure"> <p class="link_figure"><img alt="TJB와 인터뷰하는 강태웅 KAIST 김재철AI대학원 박사과정 연구원" class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111213455qool.jpg" data-org-width="600" dmcf-mid="3UnxizgR0R" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202602/23/551724-22lyJQR/20260223111213455qool.jpg" width="658"></p> <figcaption class="txt_caption default_figure"> TJB와 인터뷰하는 강태웅 KAIST 김재철AI대학원 박사과정 연구원 </figcaption> </figure> <div contents-hash="929a25487b7b541ab6568219ace7953b731461370dd108d75242c47e95c5e733" dmcf-pid="9wXvHc1y39" dmcf-ptype="general"> <div> <br>[다음은 강태웅 KAIST 김재철AI대학원 박사과정과의 일문일답] <br> <br>- 왜 이번 연구에 착수하게 된 건가? <br> <br>= 비디오 분야와 3D 분야 연구를 같이 진행하던 중 로보틱스 연구에서 3인칭 뷰와 1인칭 뷰가 둘 다 필요하며 그에 관련한 데이터가 충분하지 않다는 것도 알게 돼. 3인칭 뷰를 1인칭 뷰로 바꾸게 되면 이 페어 데이터셋이 엄청 많이 생성이 될 수 있을 것 같다고 생각해 연구를 시작. <br> <br>- 에고엑스 개발 과정에서 학습은 어떤 방식으로 진행됐나? <br> <br>= (3인칭과 1인칭의) 페어 데이터셋이 필요한데 그게 많지 않다 보니까 공개된 데이터셋 중에서 일부 4천 개만을 활용해 우선적으로 학습을 진행. <br> <br>- 연구 과정에서 어떤 어려움이 있었나? <br> <br>= 에고엑스 개발 과정에서 생성형 AI 비디오 모델을 사용했는데, 이 모델이 꽤 크다 보니까 한 번 학습할 때 3일 정도가 소요돼. 3일 동안 결과를 초조하게 기다리는 일이 가장 기억에 남아. <br> <br>- 에고엑스의 가장 큰 장점은? <br> <br>= 기존에는 3인칭 화면을 1인칭으로 생성하기 위해서는 4개 시점의 3인칭 화면이 필요했는데 에고엑스는 하나의 비디오만으로도 시점 변환이 가능하기 때문에 더 효율적이고 더 실생활에 활용이 가능한 모델이라고 할 수 있어. <br> <br>- 추후 기대하는 바가 있다면? <br> <br>= 영화 산업에서 영화 속 주인공이 되고자 하는 욕심이 있는 사람들이 많은데 여러 인기 영화들에서 우리가 주인공의 1인칭 시점으로 현장감 있는 경험을 할 수 있는 기회를 만들고 싶어. 기존에는 이런 경험을 위해선 메타 글래스나 VR, AR 기기 등 비싼 웨어러블 장비가 필요한데 그런 비싼 장비 없이 3인칭을 1인칭으로 만들어 데이터를 대량으로 생산할 수 있는 장점이 활용될 걸로 기대. <br> <br>◆ 엔비디아의 관심 받는 에고엑스 <br> <br>한편 강태웅, 김기남 KAIST 박사과정, 김도현 서울대 학부연구생이 제 1저자로 참여한 이번 연구 논문은 2025년 12월 9일 arXiv에 선공개되어 미국 NVIDIA 및 Meta 등의 빅테크들을 비롯한 AI 산업 및 학계의 큰 주목을 받았습니다. <br> <br>이번 연구 성과는 2026년 6월 3일 미국 콜로라도에서 열리는 국제 학술대회인 The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)에 공식 발표될 예정입니다. <br> <br>※ 논문명: EgoX: Egocentric Video Generation from a Single Exocentric Video, 논문링크: https://keh0t0.github.io/EgoX/ <br>※ 저자: 강태웅(제1저자, KAIST), 김기남(제1저자, KAIST), 김도현 (제1저자, 서울대학교), 박민호 (공동저자, KAIST), 형준하 (공동저자, KAIST), 주재걸(교신저자, KAIST) </div> </div> <p contents-hash="840ebe50b550d1da5dfced286bc9b8edf68ec24872efa2f48a81c0c51be258f2" dmcf-pid="2rZTXktW7K" dmcf-ptype="general">(사진=KAIST) </p> <p contents-hash="4e1b56b1a04bf06f40f4d0ab3779b2b9fca0313f81154ed1a3adf2629d7be06c" dmcf-pid="Vm5yZEFY7b" dmcf-ptype="general">조형준 취재 기자 | brotherjun@tjb.co.kr</p> </section> </div> <p class="" data-translation="true">Copyright © TJB </p> 관련자료 이전 '메소드연기' 이동휘, 웃음기 빼고 인생 연기 도전 예고 02-23 다음 中 AI 영상 공세에도 승부는 디테일…양솔지 “딸깍 뒤엔 시행착오” 02-23 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
