AI답변이 느려진 이유는…AI 사용자 체감 품질 결정하는 ‘TTFT’와 ‘TPOT’ 작성일 06-20 45 목록 <div id="layerTranslateNotice" style="display:none;"></div> <strong class="summary_view" data-translation="true">[IT백과] 토큰 생성 속도로 결정되는 사용자 평가</strong> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="35lrsPoMhE"> <figure class="figure_frm origin_fig" contents-hash="ea2b4cc11558640db3281ffba6854e0ec3994387861ddafb02b1921c4fd4b46d" dmcf-pid="01SmOQgRyk" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202606/20/552796-pzfp7fF/20260620060026359eoww.png" data-org-width="640" dmcf-mid="F3u1FESryD" dmcf-mtype="image" height="auto" src="https://img3.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202606/20/552796-pzfp7fF/20260620060026359eoww.png" width="658"></p> </figure> <p contents-hash="8dbaf9cbc5efa6bce5f34440d4c268617fe45b002df9e1a32c86228489deeec9" dmcf-pid="ptvsIxaehc" dmcf-ptype="general"><strong>정보기술(IT) 영역에 관한 모든 지식을 압축해 풀이합니다. IT산업에 꼭 필요한 용어들을 소개하고, 살펴보면 좋을 쟁점들도 정리합니다. IT가 처음인 입문자라면 혹은 동향을 알고 싶은 전문가라면, 디지털데일리 ‘IT백과’를 참고하세요. <편집자주></strong></p> <p contents-hash="d1b4d805691f070f70b423607722a0fe0461105250f0828eedad971b1cbd04da" dmcf-pid="UFTOCMNdyA" dmcf-ptype="general">[디지털데일리 오병훈기자] 생성형 인공지능(AI)을 쓰다 보면 어떤 질문에는 바로 답이 나오는데, 어떤 질문에는 몇초 동안 아무 말이 없다가 답변이 느릿느릿 생성된다. 또 어떤 답변은 첫 문장이 빨리 나오지만 글이 길어질수록 끝까지 기다리는 시간이 길어지는 경우가 있다. AI가 느려졌다고 느끼는 이 현상은 사실 두 가지 시간지표로 나눠 볼 수 있다. 바로 ‘TTFT’와 ‘TPOT’다.</p> <p contents-hash="35e859d3c9627cfdabc9b11cebbc7943e473265955584228421a59e112dca07d" dmcf-pid="u3yIhRjJvj" dmcf-ptype="general">TTFT는 ‘Time To First Token’의 줄임말이다. 한국어로 풀면 ‘첫 번째 토큰이 나오기까지 걸리는 시간’이다. 여기서 토큰은 AI가 글을 읽고 쓰기 위해 문장을 잘게 나눈 조각이다. 사람은 “오늘 날씨 알려줘”를 한 문장으로 읽지만, AI는 이를 여러 개 작은 조각으로 나눠 처리한다. AI 세계에서 토큰은 말의 벽돌과 비슷하다. 문장은 벽돌이 쌓여 만들어지는 집이고, AI는 벽돌을 하나씩 놓으며 답변을 만든다.</p> <p contents-hash="2d04de01bf283ce0f03c4b6b71b459d345a2f6ae3f54232d0395a7746e0dacd1" dmcf-pid="70WCleAivN" dmcf-ptype="general">TTFT를 가장 쉽게 이해하는 방법은 식당 주문에 비유하는 것이다. 손님이 식당에 들어가 “김치찌개 하나 주세요”라고 주문했다. 주문을 받은 뒤 음식이 처음 식탁에 나오기까지 걸리는 시간이 TTFT다. 주방에서는 주문을 확인하고, 재료를 꺼내고 냄비에 불을 올린다.</p> <p contents-hash="9ecf75d151c3bdf647ef032590ff546a328ff4934b3b99c06d85861964bdfb72" dmcf-pid="zpYhSdcnWa" dmcf-ptype="general">손님 눈에는 아무 일도 안 일어나는 것처럼 보이지만, 주방 안에서는 준비가 진행되고 있다. AI도 마찬가지다. 사용자가 질문을 입력한 뒤 첫 글자가 나오기 전까지 AI는 질문을 읽고, 뜻을 파악하고, 어떤 답을 할지 준비한다.</p> <p contents-hash="2fcf9542ebc4c0b19206598a3494a39949984e89b49e56c5eacc5ff17d7b8970" dmcf-pid="qUGlvJkLSg" dmcf-ptype="general">TPOT는 ‘Time Per Output Token’의 줄임말이다. 한국어로는 ‘출력 토큰 하나를 만드는 데 걸리는 시간’이다. 쉽게 말해 AI가 첫마디를 시작한 뒤, 그다음 말을 얼마나 빠르게 이어가는지를 보여주는 지표다.</p> <p contents-hash="3ccdca7fce9a07163da31355cdd570da67f4713f53a0a8d721bf4d6b162d90b1" dmcf-pid="BGOkDfJ6To" dmcf-ptype="general">TTFT가 첫 음식이 나오기까지 걸린 시간이라면 TPOT는 손님이 음식을 한 숟가락씩 먹는 속도에 가깝다. 음식이 식탁에 도착했다고 식사가 바로 끝나는 것은 아니다. 한 숟가락씩 먹어야 한다. AI 답변도 첫 글자가 나왔다고 끝나는 것이 아니라, 토큰을 하나씩 이어 붙이며 완성된다.</p> <p contents-hash="0ecf3a1679b00cb04182b4b8fd5d112d2609569e0be674567dd5f73ee4979591" dmcf-pid="bHIEw4iPTL" dmcf-ptype="general">그래서 AI 응답 시간도 크게 두 단계로 나뉜다. 말을 시작하기까지 걸리는 시간 TTFT와 말을 시작한 뒤 끝까지 말하는 데 걸리는 시간 TPOT다. 한문장 답변은 금방 끝나지만, 긴 기사 초안이나 보고서 요약은 토큰을 많이 만들어야 하므로 오래 걸린다.</p> <p contents-hash="2938fd6f3d9b031b38f7aca4eb5833b6f0e3478450f1cf450e105d817f647fc4" dmcf-pid="KXCDr8nQSn" dmcf-ptype="general">응답 시간과 토큰 사용량 관계는 여기서 나온다. 사용자가 긴 질문을 넣으면 AI가 읽어야 할 토큰이 많아진다. 예를 들어 “이 문서 전체를 읽고 핵심을 뽑아줘”라며 긴 보고서를 붙여 넣으면 AI는 먼저 그 많은 내용을 읽어야 한다. 이때 TTFT가 길어질 수 있다.</p> <p contents-hash="7382a9c4cbc66b4c206fb7237dc885d8e8f5c09b1e566dfe4214c228b01e5d80" dmcf-pid="9Zhwm6LxCi" dmcf-ptype="general">반대로 AI관점에서 AI가 길게 답해야 하면 출력 토큰이 많아진다. 이때는 TPOT가 전체 시간을 크게 좌우한다. “한 줄로 요약해줘”라고 하면 만들 토큰이 적어 빠르다. 하지만 “2500자 기사로 써줘”라고 하면 AI는 훨씬 많은 토큰을 만들어야 한다. 마치 짧은 문자 한 통을 쓰는 것과, 긴 독후감을 쓰는 일이 다른 것과 같다. 같은 사람이 써도 글이 길면 시간이 더 걸린다.</p> <p contents-hash="7a4fefdaedcec915d86f17210cda5372c6aa6d0355895521b456c2ab085faf21" dmcf-pid="25lrsPoMyJ" dmcf-ptype="general">따라서 “AI가 왜 느리냐” “토큰이 왜이렇게 많이 사용되냐”라는 질문에는 여러 답이 가능하다. 첫 글자가 늦게 나온다면 TTFT 문제가 클 수 있다. 반면 첫 글자는 빨리 나왔는데 답변이 천천히 이어진다면 TPOT가 영향을 미친 것으로 볼 수 있다. AI가 말을 시작했지만, 긴 답변을 한 조각씩 만들고 있기 때문이다.</p> <p contents-hash="24128df06efd57a6943c0fb9752e91e2d37925e459c2b05394936338b9921001" dmcf-pid="V1SmOQgRld" dmcf-ptype="general">기업들이 TTFT와 TPOT를 중요하게 보는 이유도 이 때문이다. 사용자는 첫 반응이 늦으면 서비스가 멈췄다고 느낀다. 그래서 기업들은 AI 모델의 TTFT를 줄이려 한다. 적어도 이용자들에게 ‘답변을 만들고 있구나’라는 느낌을 빨리 줘야 한다. 동시에 TPOT도 빨라야 답변이 자연스럽게 이어진다. 사람이 대화 중에 한 단어만 말하고 오래 멈추면 답답한 것처럼, AI도 토큰 사이 간격이 길면 느리게 느껴진다.</p> <p contents-hash="8359e195cb2ea892a4a119afc54cb55e7d372c01f8bd0832847665549c58ef2b" dmcf-pid="ftvsIxaehe" dmcf-ptype="general">물론 무조건 빠른 것이 좋은 것은 아니다. AI가 너무 빨리 답하려다 보면 내용을 충분히 확인하지 못할 수 있다. 특히 법률, 의료, 보안, 금융처럼 틀리면 위험한 분야에서는 속도보다 정확성이 더 중요하다. 식당에서도 너무 빨리 음식을 내려고 하다 설익은 찌개를 내면 문제가 된다. AI도 마찬가지다. 빠른 답변과 믿을 수 있는 답변 사이 균형이 필요하다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 [알쓸신기] ⑪ 하늘을 나는 자동차?…못 나는건 배터리 때문일까 06-20 다음 버려진 스티로폼·폐냉매의 변신…삼성·LG, 가전 ‘자원순환’ 영토 넓힌다 06-20 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
