토큰이 곧 비용이다 - 가트너의 AI 비용 최적화 전략

공급자와 사용자 모두를 옥죄는 천문학적 AI 비용

글로벌 모빌리티 기업 Uber가 2026년도 연간 AI 예산을 단 4개월 만에 모두 써버리는 기쁘고도 당황스러운 상황에 처했어요. 한두 달 만에 AI 사용량이 전사적으로 폭증하여 결국 직원 1인당 월 사용 제한을 도입하게 되었어요.

AI의 성능과 역할이 늘어갈수록 공급자인 앤트로픽, 오픈 AI 등도 수지 타산에 대한 고민이 깊어지고 있어요. 기존의 사용자당 과금 체계로는 천문학적으로 증가하는 AI 추론 비용을 감당하기 어렵거든요. 그래서 사용한 만큼 비용을 내는 종량제를 하나 둘 도입하는 추세예요. SW 라이선스 자문사 리드레스 컴플라이언스는 종량제 과금이 시작되면, ‘기업의 AI 비용이 2~3배 증가’할 거라고 봐요. AI 운영비가 공급자도, 사용자도 모두 옥죄는 시대가 시작된 거예요.

‘더 많이 읽어야 해서' 폭발하는 AI 토큰 사용량

AI 사용량은 연산의 기본 단위인 ‘토큰’으로 측정돼요. 초기 AI는 ‘질문 1개, 응답 1개'의 단순한 챗봇 형태였지만, 현재는 AI가 추론부터 실행까지 담당하는 에이전트로 진화하면서 토큰 소비량이 폭발적으로 증가하고 있어요. 특히 기업에서 많이 도입하는 RAG는 사내 문서에서 검색한 청크나 시스템 프롬프트를 매번 처음부터 읽기 때문에, 단순 쿼리 대비 3~5배 많은 토큰을 소비해요. 즉, AI가 더 많이 말해서가 아니라, ‘더 많이 읽어야 해서' 비용이 증가하는 거예요.

한 가지 흥미로운 사실은, 기술 발전으로 2030년에는 단가가 90% 가까이 떨어질 거라는 거예요. 하지만 많은 전문가들은 AI가 저렴해질수록 부서별 도입과 자동화가 늘어나 전체 AI 운영 비용은 오히려 상승할 것으로 전망해요. 즉, 토큰 사용량의 폭증은 피할 수 없는 현실이에요. 이를 두고 글로벌 IT 리서치 회사 Gartner는 'AI 토크노믹스(AI Tokenomics)' 리포트를 발간하며, 기업의 AI 토큰 관리가 새로운 경쟁력이 됐다고 강조했어요. 기하급수적인 AI 비용의 상승 속, 기업에는 어떤 준비가 필요할까요?

대세는 ‘토성비’ - 기업을 위한 AI 토큰 절약 3원칙

1. 가장 무서운 건 ‘보이지 않는 토큰’

가트너는 토큰 관리에 가장 위협적인 건 ‘보이지 않는 토큰'이라고 말해요. 자동으로 따라붙는 시스템 프롬프트, 백그라운드 에이전트, RAG가 끌어오는 청크 등은 눈에 보이지 않지만, 순식간에 불어나거든요. 모든 LLM 호출에 기능·팀 태그를 붙이고, 주간 단위로 토큰 소비량이 높은 워크플로우를 추적하는 등 자체적인 관리/추적 시스템을 갖추는 게 필요해요. 반복 질문은 재사용하고, 긴 히스토리는 요약하고, 실시간 처리가 필요 없는 업무는 묶어서 처리하는 등 ‘덜 쓰는 것’보다 AI가 불필요하게 같은 내용을 반복해서 읽지 않도록 하는 게 핵심이에요.

2. 모든 업무에 최고급 AI가 필요한 것은 아니다

혹시 단순 요약, 검색 등 모든 업무를 최고 성능 모델로 처리하고 있지는 않나요? 실제 업무에는 모델의 성능보다 속도, 비용, 운영 효율이 더 중요한 경우가 많아요. 조직이 업무와 상황에 맞추어 인력을 꾸리는 것처럼, AI 역시 역할 분담이 필요해요. 일상 업무는 경량 모델, 복잡한 분석은 고성능 모델처럼 ‘업무에 맞는 모델’을 사용해야 해요. UC 버클리의 연구에 따르면, 작업의 복잡도에 따라 모델을 분리할 경우 프런티어 모델을 단독 사용하는 것보다 최대 85%의 비용 절감과 95% 수준의 답변 품질을 끌어낼 수 있다고 해요.

3. 더 많이 읽는다고 더 정확한 건 아니다

많은 기업은 AI 답변 품질이 떨어지면 더 많은 문서를 넣고, 더 긴 컨텍스트를 추가하려고 해요. 실제로 사내에 최적화된 LLM을 운영하기 위해 RAG를 연동하는 기업이 기하급수적으로 늘어나고 있죠. 하지만 문제는 문서의 양보다 ‘문서의 품질’인 경우가 많아요.

예를 들어, 표 구조가 깨진 문서는 검색 정확도를 떨어뜨리고, 시스템이 관련 정보를 찾기 위해 더 많은 청크를 불러오게 만들어요. 이 과정에서 컨텍스트가 길어지고, 응답 정확도가 낮아지면서, 재질의가 반복되는 악순환이 이어져요. 반대로 문서가 구조적으로 정리되어 있다면, 더 적은 청크로 더 정확한 검색과 응답이 가능해져요. 즉, ‘AI가 이해할 수 있는 데이터 구조’를 만드는 것이 장기적으로 토큰 소비를 최적화할 수 있는 최선의 방법이에요.

문제는 기업 환경에 쌓인 문서 대부분이 AI가 읽기 어려운 형태라는 거예요. 복잡한 표와 레이아웃이 포함된 문서들은 일반적인 파서로는 구조를 제대로 살리기 어려워요. 깨진 표, 뭉개진 구조 그대로 RAG에 들어가면 검색 정확도와 답변 신뢰도는 곤두박질 칠 거예요. 결국 문서 파싱의 정확도가 무분별한 토큰 소비를 막고, AI 운영 비용을 효율화하는 주요한 축이 될 거예요.

AI '도입'보다 '운영'이 더 중요해진 시대

AI가 수행하는 업무가 복잡해질수록 기업이 감당해야 할 비용은 눈덩이처럼 불어날 거예요. 단순히 더 좋은 모델을 도입하는 것보다, 토큰 소비 구조와 운영 효율을 안정적으로 관리하기 위한 고민이 필요해졌어요. ‘어떤 업무에 어떤 모델을 사용할지, 어떤 데이터를 읽게 할지, 불필요한 컨텍스트와 반복 호출을 어떻게 줄일지’를 고민해 보세요. 이 세 가지가 앞으로 기업 AI 운영의 핵심이 될 거예요.

특히 문서 품질은 가장 간과되기 쉬우면서도 가장 직접적인 효과를 보여주는 영역이에요. AI가 더 적게 읽고도 더 정확하게 답할 수 있는 환경을 만드는 기반이 되어주니까요. KT, 카카오 등 유수의 기업과 함께해온 문서 구조화 비결이 궁금하다면, 아래에서 더 자세한 이야기를 확인해 보세요.