[빅데이터뉴스 김다경 기자] LG유플러스가 인공지능(AI) 에이전트 운영 비용을 최대 90% 이상 낮추는 토큰 최적화 기술을 앞세워 내년 기업간거래(B2B) 시장 공략에 나선다. AI 모델 선택부터 추론 방식, 연산 인프라까지 최적화해 기업의 AI 서비스 운영 비용을 줄이는 사업을 추진한다.

LG유플러스는 지난 12일 'AI 토큰 최적화 기자 스터디'를 열고 상용 서비스에서 검증한 AI 비용 절감 기술과 연구 성과, 향후 사업 계획을 공개했다. 익시오와 AI 컨택센터(AICC), 사내 업무 혁신(AX) 등에 적용한 기술을 바탕으로 내년부터 기업 고객을 대상으로 토큰 최적화 사업을 본격화한다는 계획이다.
LG유플러스가 내세우는 경쟁력은 실제 서비스 운영 과정에서 축적한 AI 모델 운용 경험이다. 익시오 출시 초기 LG AI연구원의 온디바이스 모델과 구글 제미나이를 병행했으며, 이후 자체 AI 모델과 엑사원(EXAONE) 등을 조합하는 방식으로 서비스 품질과 비용 효율을 높였다. 고성능 모델이 필요한 작업과 상대적으로 간단한 작업을 구분해 적합한 모델에 할당하는 방식이다.

카카오와 협력하는 '모두의 AI'에서도 AI 모델 운영을 맡아 대규모 모델 운용 역량을 쌓고 있다. 사내 AX 분야에서는 개발자용 AI 코딩 도구에 자체 모델을 적용해 업무 환경을 유지하면서 이용 비용을 낮추고 있다.

LG유플러스는 토큰당 가격을 낮추는 데 그치지 않고 AI를 활용해 하나의 업무를 완료하는 데 드는 전체 비용을 줄이는 데 초점을 맞췄다. AI 에이전트가 업무를 수행하는 과정에서 불필요한 검색과 분석, 검증을 반복하면 토큰 사용량이 늘어나는 만큼 모델 선택과 작업 수행 과정 전반을 최적화한다는 구상이다.

이상엽 LG유플러스 최고기술책임자(CTO)는 "AI 시장의 패권은 누가 더 큰 모델을 만드느냐를 넘어 고객이 원하는 비즈니스 결과를 얼마나 정교하고 경제적으로 완수하느냐로 이동했다"며 "실제 서비스에서 축적한 최적화 기술이 지속 가능한 AI 사업의 핵심 경쟁력이 될 것"이라고 말했다.
비용 절감 효과도 확인했다. LG유플러스의 자체 기술 검증 결과 코딩 에이전트에 자체 AI 모델을 적용했을 때 통상적으로 사용하는 모델 대비 운영 비용을 약 90% 줄였다. 모델 라우팅 기술을 활용하면 일반 질문 처리 비용은 25% 이상, 코딩 에이전트 비용은 30% 이상 절감할 수 있는 것으로 나타났다. 동일한 인프라에서 AI 연산 처리 효율을 최대 4배 높인 사례도 확보했다.

모델 경량화와 추론 기술도 고도화하고 있다. 자체 온디바이스 AI 모델 크기를 기존 2.4~3GB에서 약 800MB로 줄이면서 비교 대상 클라우드 모델 대비 95% 이상의 성능을 확보했다. 작은 모델이 답변을 먼저 생성하고 큰 모델이 검증하는 추론 기술인 '스페큘러티브 디코딩' 등을 적용해 토큰 생성 속도도 2배 이상 높였다. 관련 연구 논문 2편은 세계적인 AI 학술대회인 뉴립스(NeurIPS)에 채택됐다.

연산 인프라 비용을 낮추기 위한 칩 다변화도 추진한다. 엔비디아와 AMD의 그래픽처리장치(GPU)뿐 아니라 국산 AI 반도체 기업 퓨리오사AI의 신경망처리장치(NPU)도 2년 이상 검증하고 있다. 연산량이 많은 작업과 메모리 대역폭이 중요한 작업을 구분해 적합한 반도체에 분산 처리하는 방식이다.
한편 LG유플러스는 올해 3분기 연결 기준 매출 3조9813억원, 영업이익 2976억원을 기록했다. 매출은 전년 동기 대비 0.7% 감소했지만 영업이익은 지난해 일회성 인건비에 따른 기저효과와 사업 구조 효율화에 힘입어 84.1% 증가했다. 기업인프라 부문 매출은 AIDC 성장에 힘입어 10.4% 늘어난 4722억원을 기록했으며 AIDC 매출은 27.7% 증가한 1317억원으로 집계됐다.

김다경 빅데이터뉴스 기자 dk@thebigdata.co.kr