LG유플러스가 AI 모델 최적화 전문기업 옵트에이아이와 협력해 AI 운영 효율을 높이는 토큰 최적화 기술 개발에 나섰다. AI 서비스 확산으로 GPU와 전력 등 자원 사용 비용이 증가하면서, 동일한 자원으로 서비스를 제공하는 기술의 중요성이 커지고 있다.

토큰은 AI가 질문을 이해하고 답변을 생성할 때 처리하는 데이터 단위다. 토큰 최적화 기술은 AI 모델의 크기와 계산 과정을 효율화해 동일한 자원으로 더 많은 요청을 처리하도록 하는 기술이다.

LG유플러스는 AI 서비스 운영 경험을 바탕으로 기술 검증과 적용을 담당하고, 옵트에이아이는 가볍고 빠른 AI 모델 구동 기술 개발에 집중한다. 양사는 GPU와 전력 사용량을 줄이면서 응답 속도와 서비스 품질을 높이는 것을 목표로 한다.

두 회사는 이전에도 스마트폰 등 기기 내에서 AI를 구동하는 온디바이스 AI 분야에서 협력해왔다. LG유플러스는 ‘엑사원(EXAONE)’ 기반 소형언어모델에 경량화 기술을 적용해 스마트폰 AI 전용 반도체인 NPU에서 구동 가능하도록 했으며, 전력 소모는 78%, 모델 크기는 82% 줄였다.

지난 1일에는 'Efficient AI 테크 세미나'를 공동 개최해 AI 운영 효율화 관련 최신 연구 동향과 산업 적용 사례를 공유했다. 행사에는 AI 반도체 기업 퓨리오사AI, AI 플랫폼 기업 베슬에이아이, 한국전자기술연구원, 한양대학교 등 산학연 전문가들이 참여했다.

양사는 이번 협력을 바탕으로 서버 GPU 환경까지 연구 범위를 확대한다. 대규모 AI 서비스 운영 시 동일 GPU 자원으로 더 많은 요청을 처리할 수 있도록 AI 모델 연산 과정을 효율화하는 기술 연구를 중심으로 진행한다.

현재 GPU 기반 AI 모델 최적화 연구에서도 초기 성과가 나타나고 있다. 양사는 AI 모델 답변 생성 연산 과정을 실제 서비스 환경에 맞게 개선해 같은 GPU에서 처리 가능한 토큰량을 기존 대비 최대 네 배 늘렸다.

LG유플러스는 확보한 기술을 자사 AI 서비스와 대규모 인프라 운영에 적용하며 AI 운영 효율 개선을 이어갈 계획이다.

이상엽 LG유플러스 CTO는 AI 경쟁력에 대해 "같은 자원으로 얼마나 많은 토큰을 효율적으로 처리할 수 있느냐에 달려 있다"며, "토큰 최적화 기술 연구를 확대하고 서비스 적용 성과를 만들어 나가겠다"고 말했다.

이재호 옵트에이아이 대표는 "생성형 AI 시대에 높은 성능뿐 아니라 운영 효율 확보가 중요하다"며, "LG유플러스와 함께 실제 서비스 환경에서 검증 가능한 AI 최적화 기술을 고도화하겠다"고 말했다.

※ 본 기사는 기존 기사 내용을 기반으로 AI 편집 도구를 활용해 가독성을 개선했습니다.