1인칭 영상 833년치 분석해 AI 언어로 …'덴스 캡셔닝'의 세계 작성일 11-16 55 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">피지컬AI 학습교재로 뜨는 영상 데이터<br>인물·사물 태그 수준 넘어<br>영상 속 행동·상황 정밀묘사<br>'시각언어모델' 통해 AI 학습<br>로봇 실제동작 구현 밑바탕<br>국내 AI 기업 진출 잇따라</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="qG2dcQqFye"> <figure class="figure_frm origin_fig" contents-hash="df1278f7bf65dacba7ebd1f930456eb27efe3efd134524e3c5366cc060657f91" dmcf-pid="BHVJkxB3vR" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/16/mk/20261116161508396oqjn.jpg" data-org-width="1000" dmcf-mid="6RechgPKhC" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/16/mk/20261116161508396oqjn.jpg" width="658"></p> </figure> <p contents-hash="eb7a2e96c5c45d9193b1618987ba7fd149a7c29c3c11c56ba4507d77be31600b" dmcf-pid="bXfiEMb0WM" dmcf-ptype="general">"0~4세 정도의 아이가 균형을 잡기 위해 양팔을 살짝 뻗은 채 포장도로를 가로질러 거리의 비둘기들을 향해 앞으로 걸어간다. 촬영자는 특별한 손동작 없이 앞으로 걷고 있다."</p> <p contents-hash="cedf0c8261ec54472ca9e8420b0c04d5635ac9db2b350a5f745b9fb50d80f81a" dmcf-pid="KZ4nDRKpTx" dmcf-ptype="general">1인칭 시점으로 찍은 3초 분량의 영상을 영상 인공지능(AI) 기업 트웰브랩스의 분석 솔루션에 넣자 나온 설명이다. 등장인물의 움직임과 주변 상황은 물론 촬영자의 동작까지 문장으로 풀어냈다. 로봇에게 사람의 행동을 가르치려면 이처럼 영상을 글로 옮긴 학습용 데이터가 필요하기 때문이다.</p> <p contents-hash="199f3864f219be64fc84d9abb3f80e3a678ab196da9d455d899b9ddad4d16606" dmcf-pid="958Lwe9UyQ" dmcf-ptype="general">피지컬 AI 개발 경쟁이 달아오르면서 학습용 영상에 정밀한 설명문을 붙이는 '덴스 캡셔닝(Dense Captioning)'이 핵심 기술로 떠오르고 있다. 설명문만 영상 생성 AI에 넣어도 원래 영상을 다시 만들어낼 수 있을 만큼 촘촘한 묘사가 요구된다.</p> <p contents-hash="4f9e81caf638a2a5449d3821cd8fce191bdc626135922a4b20f7c9e07ecbb8e9" dmcf-pid="2GtKM7HllP" dmcf-ptype="general">수요는 이미 사람 손으로 감당할 수 없는 규모다. 트웰브랩스에 따르면 이 회사가 최근 미국의 로봇 학습 데이터 고객사 한 곳에서 요청받은 영상 분석 물량만 연간 최소 730만시간에 달한다. 한 사람이 하루 24시간 쉬지 않고 봐도 약 833년이 걸리는 분량이다.</p> <figure class="figure_frm origin_fig" contents-hash="f51566d6fefb4701b0777ff2978d47ad666c967e9905df7e4c630652ede9163b" dmcf-pid="VHF9RzXSv6" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202611/16/mk/20261116161509662rhej.jpg" data-org-width="300" dmcf-mid="zpRACo6bTd" dmcf-mtype="image" height="auto" src="https://img4.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202611/16/mk/20261116161509662rhej.jpg" width="658"></p> </figure> <p contents-hash="6e3dbb3b72e9ee16c71b051f7be2193bde34ee64f42871edfbeea523eb6e5784" dmcf-pid="fX32eqZvl8" dmcf-ptype="general">◆ 단어 태그에서 문장 서술로</p> <p contents-hash="49402b3f54b56d8fc23a20b18e0af969dc28f95e4e6dedb413017022348db6d5" dmcf-pid="4Z0VdB5Th4" dmcf-ptype="general">비전 AI는 피지컬 AI의 '눈'에 해당한다. 눈으로 본 영상을 AI가 이해할 수 있는 언어로 바꾸는 작업이 데이터 가공이다.</p> <p contents-hash="c151ab09e0b92116c630914288cc4fa168eff97a9cc46aa1f16fcfb5cce0527f" dmcf-pid="85pfJb1yvf" dmcf-ptype="general">가공은 크게 선별, 분절, 레이블링의 3단계로 이뤄진다. 먼저 카메라가 심하게 흔들리거나 작업자의 손이 가려진 장면, 불필요한 대기 시간을 걸러낸다. 얼굴이나 문서, 스마트폰 화면처럼 의도치 않게 찍힌 개인정보도 이 단계에서 식별한다. 이어 영상을 구간별로 나누고, 구간마다 누가 무엇을 어떤 상황에서 어떻게 다뤘으며 결과는 어땠는지 설명을 붙인다.</p> <p contents-hash="47a792204df126a5bdd6aa4a91487928c0e06b05397a15e1b7ca7cb180e01890" dmcf-pid="61U4iKtWWV" dmcf-ptype="general">과거 영상 AI 학습은 사물에 네모 박스를 치고 '사과' '컵' '사람'처럼 단어 태그를 다는 수준이었다. 반면 피지컬 AI를 위한 데이터는 물리적 상호작용과 인과관계를 문장으로 서술한다. 이렇게 만든 설명문은 고객사가 요구하는 데이터 형식에 맞춰 구조화된다.</p> <p contents-hash="35a8c380a14cdd7617a084614e144bc0ab8f0b50827b700294cecfecf3c98d7d" dmcf-pid="Ptu8n9FYl2" dmcf-ptype="general">가공을 마친 영상과 설명문은 시간대와 상황별로 짝지어져 '영상판 대형언어모델(LLM)'로 불리는 시각언어모델(VLM)의 학습에 쓰인다. 이 데이터는 로봇의 실제 동작까지 제어하는 시각언어행동모델(VLA)을 만드는 밑거름도 된다.</p> <p contents-hash="c5fc21effec0d8a28a92a2c5b171bb37f1ec56c5785881665feaf13e7853eb03" dmcf-pid="QF76L23Gy9" dmcf-ptype="general">덴스 캡셔닝이 급부상한 배경에는 테크업계의 화두가 텍스트 기반 LLM에서 로봇과 자율주행 등 피지컬 AI로 옮겨간 흐름이 있다.</p> <p contents-hash="72108b5f40c46bb2e6a7c94f63e622241310b9f2c6a47ccb003189023f6eea71" dmcf-pid="x3zPoV0HhK" dmcf-ptype="general">◆ 영상 언어 학습이 로봇 지능 좌우</p> <p contents-hash="9fc79015d121bc92e1010fd8b951594f0dcf969d22b1d5d08028331ce18e6307" dmcf-pid="yaEvtINdCb" dmcf-ptype="general">LLM은 2022년 챗GPT 등장을 계기로 대중화 시대를 열었다. 반면 영상을 이해하는 VLM 분야에서는 아직 챗GPT처럼 판을 바꾼 서비스가 나오지 않았다. 인터넷상의 텍스트 데이터는 이미 상당 부분 AI 학습에 쓰였지만, 물리 세계의 법칙을 담은 영상 데이터는 개척 초기 단계이기 때문이다.</p> <p contents-hash="0d09663c6675ff923048a0df67cb9004335b86f61f8a65d6c3f0f2b9ee948caa" dmcf-pid="WNDTFCjJWB" dmcf-ptype="general">로봇을 가르치는 방식도 달라졌다. 과거에는 로봇이 수만 번의 시행착오를 겪게 하거나 사람이 동작을 일일이 코딩했다. 최근에는 언어와 영상을 함께 이해하는 AI 모델이 사람의 행동 영상을 보고 작업을 익히는 방식으로 바뀌고 있다. 영상을 얼마나 정교한 언어로 풀어내느냐가 로봇의 지능을 좌우하게 된 셈이다.</p> <p contents-hash="38129235c4c8138b67c20f541c6164f73718dc1b3905dda4c25a78199d6a7426" dmcf-pid="Yocl5sgRyq" dmcf-ptype="general">국내 기업들도 영상 수집과 가공부터 VLM 구축까지 각자의 영역에서 시장에 뛰어들고 있다.</p> <p contents-hash="6b8350d07e0e35ce7adca0c571a2106185a56375f13e0628b36896192d6d08a7" dmcf-pid="GgkS1Oaelz" dmcf-ptype="general">언어 데이터 전문기업 플리토는 로봇 학습용 영상을 수집하고 정밀한 설명문을 붙이는 작업에 집중하고 있다. 약 1400만명의 글로벌 이용자를 기반으로 언어 데이터를 수집하고 가공해온 경험을 영상으로 넓힌 것이다. 플리토는 초기 학습에는 다양한 상황을 담은 대규모 영상이, 특정 작업을 정교하게 익히는 단계에는 상세한 설명이 붙은 고품질 데이터가 중요하다고 보고 덴스 캡셔닝 적용을 확대할 계획이다.</p> <p contents-hash="bb3c6ad4299668bea83925ccd63600ef6fa49adf054108996ae9629e02542870" dmcf-pid="HaEvtINdS7" dmcf-ptype="general">슈퍼브에이아이는 산업 특화 비전 파운데이션 모델 '제로(ZERO)'를 학습시키는 데 덴스 캡셔닝 데이터를 쓰고 있다. 이미지 속 객체를 구체적으로 서술해 AI가 개별 사물뿐 아니라 장면 전체의 맥락을 이해하도록 하는 방식이다. 안전모를 쓰지 않은 작업자나 볼트가 빠진 철도 부품처럼 드물거나 위험해서 실제로 촬영하기 어려운 상황에 강점이 있다. 모델이 제대로 인식하지 못하는 상황을 찾아내 상세한 문장으로 구체화한 뒤 합성 이미지를 만들어 학습에 활용한다. </p> <p contents-hash="f8ec7273887ea8c9d390a46e52afc30ef63f0cdccce439a7631a0a6b1570539a" dmcf-pid="XNDTFCjJvu" dmcf-ptype="general">덴스 캡셔닝(Dense Captioning)</p> <p contents-hash="5af961f2bc4abf80a91d58aaf857eecce3fa1154d9afd4212b2b0d6cc5b9e631" dmcf-pid="Zjwy3hAilU" dmcf-ptype="general">영상 속 인물과 사물의 움직임, 주변 상황을 시간대별로 구분해 상세한 설명문을 작성하는 기술. 기존 영상 캡션이 전체 내용을 단순 요약한다면 덴스 캡셔닝은 개별 행동의 순서와 대상까지 구체적으로 묘사한다. 피지컬 AI의 학습용 데이터를 만드는 데 쓰인다.</p> <p contents-hash="da48a92e96a14181a257f60fb7f34160d0e61ec850dbafeca3bf1bbcaa11c0cb" dmcf-pid="5ArW0lcnCp" dmcf-ptype="general">[최근도 기자]</p> </section> </div> <p class="" data-translation="true">Copyright © 매일경제 & mk.co.kr. 무단 전재, 재배포 및 AI학습 이용 금지</p> 관련자료 이전 롯데이노베이트, R&D 투자 구조 변화…AI 인재 확보 집중 11-16 다음 불붙은 AI에이전트 주도권 경쟁…네카오, 자체 생태계 활용해 승기잡기 나선다 11-16 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.