[AI 토큰 청구서⑥完] AI 비용 모델, ‘많이 쓰기’에서 ‘잘 골라 쓰기’로 작성일 07-07 31 목록 <div id="layerTranslateNotice" style="display:none;"></div> <div class="article_view" data-translation-body="true" data-tiara-layer="article_body" data-tiara-action-name="본문이미지확대_클릭"> <section dmcf-sid="VVJ8NcZvlN"> <div contents-hash="759fd93dc9d6c07c54419d44d07a211999811eb01d06edc92eb57c2f42325a39" dmcf-pid="ffi6jk5Tva" dmcf-ptype="general"> <strong>생성형 AI는 국내 SW기업의 개발 방식뿐 아니라 원가 구조와 인재 기준까지 바꾸고 있다. <디지털데일리>는 국내 주요 SW기업 답변을 바탕으로 AI 토큰 지출 규모, 비용 효율화, R&D 투자 판단, 채용 트렌드의 변화를 짚었다. 이번 기획을 통해 ‘AI를 쓰는 기업’과 ‘AI를 운영하는 기업’의 격차가 어디서 벌어질지 진단해본다. <편집자></strong> </div> <figure class="figure_frm origin_fig" contents-hash="723148ded0681ab786cac054ffd3abf1c7cf32caa76e4acf2874ed010527b863" dmcf-pid="44nPAE1ySg" dmcf-ptype="figure"> <p class="link_figure"><img class="thumb_g_article" data-org-src="https://t1.daumcdn.net/news/202607/07/552796-pzfp7fF/20260707064155097ikeg.jpg" data-org-width="640" dmcf-mid="2IvrX1Q9vj" dmcf-mtype="image" height="auto" src="https://img1.daumcdn.net/thumb/R658x0.q70/?fname=https://t1.daumcdn.net/news/202607/07/552796-pzfp7fF/20260707064155097ikeg.jpg" width="658"></p> </figure> <p contents-hash="fc46ef9b1b101463b9c301c7beeb3505dbe0e623f04089563746b00b99949549" dmcf-pid="88LQcDtWvo" dmcf-ptype="general">[디지털데일리 이상일기자] 생성형 AI 비용 논쟁의 초점이 ‘얼마나 비싼가’에서 ‘왜 토큰 단위로 계속 돈을 내야 하는가’로 옮겨가고 있다. 오픈AI와 앤트로픽의 API 가격표는 모델별 입력·출력 토큰 단가를 제시하고 있으며, 오픈AI 문서는 토큰이 선택한 모델의 입력·출력 요율에 따라 과금된다고 설명한다.</p> <p contents-hash="29d2291ef0ff07310078e76db8e7c2251118c66f2e2955f54753c9a3d17a74ab" dmcf-pid="66oxkwFYWL" dmcf-ptype="general">앤트로픽 역시 MTok, 즉 100만 토큰 단위로 입력·출력·캐시 관련 가격을 구분하고 있다. 토큰은 LLM이 문맥을 읽고 답변을 생성하는 기술 단위이면서 동시에 기업 고객의 청구서를 구성하는 비용 단위가 된 셈이다.</p> <p contents-hash="5fd90b3fed6d32351ff7d42ef8a118c5b17307da3e6fc75e917d5ad1391797d7" dmcf-pid="PPgMEr3Gyn" dmcf-ptype="general">문제는 AI 활용이 실험을 넘어 운영 단계로 들어가면서 토큰 소비가 예측하기 어려운 비용 항목으로 커지고 있다는 점이다. 본지 취재에 응한 국내 SW 기업들도 개발, 문서 작성, 검색, 고객 프로젝트, 사내 업무 자동화 전반에서 AI 사용량이 늘고 있다고 답했다.</p> <p contents-hash="6b917d80ccb8368a2608033d00e6b99031834009b451873b60f95f66c03f2755" dmcf-pid="QgsjvW2uTi" dmcf-ptype="general">웹케시그룹은 월평균 AI 토큰 비용이 약 1억5000만~2억원 수준이며 전년 대비 3144% 증가했다고 밝혔다. 한컴은 통합 LLM 게이트웨이, 모델 라우팅, 폴백, 프롬프트 경량화, 캐싱, 오픈웨이트 모델의 사내 운영 검토 등을 비용·안전성 관리 수단으로 제시했다.</p> <p contents-hash="8ad6b7c12f2fc2d90c4f7fc9f96c8d76e4539cf366f878faecc2c68355c5f2ee" dmcf-pid="xaOATYV7hJ" dmcf-ptype="general">글로벌 시장에서는 토큰 기반 과금 모델 자체를 겨냥한 공개 비판도 나왔다. 팔란티어 CEO 알렉스 카프는 CNBC 인터뷰에서 오픈AI와 앤트로픽 등 프런티어 AI 기업을 겨냥해 기업들이 토큰에 돈을 쓰지만 충분한 가치를 얻지 못하고, 지식재산과 데이터가 외부 AI 기업에 노출될 수 있다는 취지로 비판했다.</p> <p contents-hash="2741197de8dd031f76347c8938eed717bd329b2542af8985c0a851ca644ecc57" dmcf-pid="y32UQRIkhd" dmcf-ptype="general">기술 진영의 대응은 ‘토큰을 덜 쓰는 구조’로 향하고 있다. 여기에 덧붙여 어떻게 쓰는 것이 효율적인지에 대한 내부 지식도 쌓이고 있다. 한 업계 관계자는 "AI로 코딩할 때 한 프로젝트에서 계속 개발을 진행하면 해당 AI는 전체 코드를 바탕으로 개발을 진행하기 때문에 토큰을 더 소모한다. 코드 변경이나 새 오브젝트를 붙일 때는 해당 부분만을 새롭게 개발해 토큰을 절약 하는 등 여러가지 방법을 직원들에게 강조하고 있다"고 전했다.</p> <p contents-hash="2d520fdaac1ee697d412a67486acbfd38cdbefbe99d5e5733047ac7e125b3a97" dmcf-pid="W0VuxeCESe" dmcf-ptype="general">이른바 AI를 통한 개발 팁이 공유되고 있는 셈이다. 코오롱베니트 역시 또한 프롬프트 표준화·경량화, 반복 질의 최소화, 사내 지식 기반 연계, 모델별 적정 사용 기준 수립 등을 통해 불필요한 토큰 사용을 줄이는 방향으로 운영 효율화를 추진하고 있다.</p> <p contents-hash="6dd60555c031971d063c4acb5be52a7a67c82c3830f3c9beb7a441876157181a" dmcf-pid="Ypf7MdhDCR" dmcf-ptype="general">코오롱베니트 관계자는 "단순 반복 업무에는 고성능 모델을 무조건 적용하기보다 업무 난이도와 결과물 품질 기준에 맞춰 적정 모델을 선택하는 것이 중요하다고 보고 있다"고 전했다.</p> <p contents-hash="eb81e5446d263b98b5d02dd354f7bdfb1698e36f4ff6c7a30d274fc8ff3e011f" dmcf-pid="GU4zRJlwhM" dmcf-ptype="general">이와 별개로 기술기업 차원의 토큰 절약을 위한 전략도 본격화되고 있다.</p> <p contents-hash="18ecff4615cab13e806b440416243bb3785229916652db04126aad2d53cadd9d" dmcf-pid="Hu8qeiSryx" dmcf-ptype="general">마이크로소프트 리서치가 공개한 장기 기억 시스템 ‘메모라(Memora)’는 기억 내용과 검색 방식을 분리하는 구조를 내세운다. 마이크로소프트는 메모라가 장기 대화 벤치마크인 'LoCoMo'와 'LongMemEval'에서 기존 방식보다 높은 성능을 보였고, 전체 대화 기록을 매번 컨텍스트에 넣는 방식과 비교해 문맥 토큰 사용량을 최대 98% 줄였다고 밝혔다.</p> <p contents-hash="ae1791a2a5237e20e55e188607df6e60dbd241fe6157c3126a681e0b67a8dfcb" dmcf-pid="X76BdnvmTQ" dmcf-ptype="general">알리바바클라우드의 스킬위버(SkillWeaver) 논문은 에이전트가 수천 개 도구 설명을 한꺼번에 읽는 방식을 문제로 봤다. 이 논문은 2209개 실제 MCP 서버 스킬과 300개 합성 질의를 기반으로, 복합 작업을 하위 작업으로 분해하고 각 단계에 맞는 스킬을 검색·조합하는 ‘컴포지셔널 스킬 라우팅’을 제안했다.</p> <p contents-hash="5ef248d424341d0c5cdc4fd812bc1f3bbe5bd561769afac78418c740c01d7dd7" dmcf-pid="Z6oxkwFYTP" dmcf-ptype="general">논문에 따르면 모든 도구를 컨텍스트에 노출하면 약 88만4000토큰이 필요하지만 SkillWeaver는 평균 2.9개 스킬, 약 1160토큰만 노출해 컨텍스트 소비를 99.9% 줄였다. 단, 논문은 평가가 검색 중심이며 실제 스킬 실행 성공 여부까지 포괄한 검증은 향후 과제로 남겼다고 명시했다.</p> <p contents-hash="96558981cb7c6f28a19e45ae512b9b63e1fb61b1a64aa64f3533d56804b9fa60" dmcf-pid="5PgMEr3GW6" dmcf-ptype="general">국내 스타트업 디노티시아가 공개한 STAR-KV는 토큰 수 자체보다 LLM 추론 과정의 메모리 병목을 겨냥한다. KV 캐시는 모델이 이미 처리한 문맥을 다시 계산하지 않도록 GPU에 임시 저장하는 메모리인데 긴 문맥과 에이전트형 작업이 늘수록 GPU 메모리와 추론비용의 핵심 병목이 된다.</p> <p contents-hash="46ac0e85789692230524e7fcb97033dd62952018b5bd977688e2caa505523789" dmcf-pid="1QaRDm0Hv8" dmcf-ptype="general">STAR-KV 논문은 저랭크 압축만으로 KV 캐시를 최대 75% 줄이고, 혼합정밀도 양자화와 결합하면 전체 KV 캐시를 최대 20배 압축할 수 있다고 설명한다. 디노티시아는 이 기술이 커스텀 GPU 커널을 통해 어텐션 연산 속도와 전체 생성 처리량도 개선한다고 주장하고 있다.</p> <p contents-hash="715c27d002b90409332c2bf4ee344ab96f0b6b5b4972016e76f9955b50e6b623" dmcf-pid="txNewspXW4" dmcf-ptype="general">또, 업계에서는 모든 프롬프트가 프런티어 모델의 고비용 추론을 필요로 하는 것은 아니며 프롬프트 성격에 따라 적절한 모델을 자동 선택하는 모델 라우터가 토큰 지출 효율을 높일 수 있다고 분석하고 있다. 기업 AI 비용 절감이 단순히 ‘프롬프트를 짧게 쓰는 법’에서 ‘어떤 작업을 어떤 모델·경로로 보낼 것인가’의 운영 문제로 넘어가고 있음을 보여준다.</p> <p contents-hash="dad6d6a8a4cdd2e2953f78e5b6aad4a320f2e1792ea63a89367af5183bff1e0d" dmcf-pid="FMjdrOUZWf" dmcf-ptype="general">국내 기업들의 움직임도 이 방향과 맞닿아 있다. 한컴은 통합 LLM 게이트웨이를 통해 사용량·비용 가시성과 통제력을 확보하고 모델 라우팅과 폴백으로 불필요한 고비용 호출을 줄이겠다고 답했다. 엔디에스는 LiteLLM 기반 LLM 게이트웨이를 두고 비용 모니터링, 토큰 제어, 캐싱을 통합 적용하는 방안을 추진 중이라고 밝혔다. 크라우드웍스는 부서별 토큰 쿼터와 캐싱을 적용하면서도, 목적이 불분명한 반복 실험이 비용을 키울 수 있어 기업별 거버넌스가 필요하다고 봤다.</p> <p contents-hash="3fb392f7c2d7c245f87759ad320092111fc408826b86d43e131e5d5fe3635f3d" dmcf-pid="3RAJmIu5WV" dmcf-ptype="general">토큰 과금이 곧 사라진다는 의미는 아니다. 기업들이 토큰 청구서를 그대로 받아들이는 대신 ▲장기 기억 ▲스킬 라우팅 ▲KV 캐시 압축 ▲LLM 게이트웨이 ▲오픈웨이트·온프레미스 운영을 통해 토큰 소비와 추론 인프라 비용을 통제하려는 움직임이다.</p> <p contents-hash="98a600ab1a127ba0b6fbdf81944974a7d4752697e245f6eeb7bd5cd1f9b6cffb" dmcf-pid="0ecisC71h2" dmcf-ptype="general">AI 비용 경쟁의 무게중심은 토큰 단가 비교에서 ‘어떤 토큰을 쓰지 않을 것인가’, ‘어떤 모델에 보낼 것인가’, ‘어떤 데이터를 외부에 맡기지 않을 것인가’로 이동하고 있는 상황이다.</p> </section> </div> <p class="" data-translation="true">Copyright © 디지털데일리. All rights reserved. 무단 전재 및 재배포 금지.</p> 관련자료 이전 애플, 브로드컴과 2031년까지 칩 협력…AI 서버 힘 싣는다[모닝폰] 07-07 다음 '로컬 보이의 꿈이 현실로' 윔블던에서 기적을 쓰고 있는 아서 페리 07-07 댓글 0 등록된 댓글이 없습니다. 로그인한 회원만 댓글 등록이 가능합니다.
