[시사저널e=김용수 기자] SK텔레콤이 통신사 특화 인공지능(AI) 거대언어모델(LLM) ‘텔코 LLM’을 고객센터 상담, 네트워크 인프라 운용 등에 연내 적용한다. 오는 6월 텔코 LLM 개발을 완료하고 고객센터 등 실사용 사례를 확대할 방침이다. 국내 선적용 후 성과를 기반으로 글로벌향 텔코 LLM도 출시할 계획이다.
30일 SK텔레콤은 서울 중구 SK텔레콤 본사에서 기자간담회를 열고 통신 전문 용어와 인공지능(AI) 윤리가치 등 통신사 내부 지침을 학습한 텔코 LLM을 이르면 오는 6월 출시한다고 밝혔다.
SK텔레콤은 오픈AI, 앤트로픽 등과 협력해 통신사 서비스나 상품, 멤버십, 상담 패턴 등 데이터를 수집, 정형·비정형 데이터를 선별해 이를 에이닷엑스(A.X), GPT(오픈AI LLM), 클로드(앤트로픽 LLM)에 학습시켰다.
◇ 다수의 텔코LLM으로 멀티 LLM 전략
텔코 LLM은 에이닷엑스, GPT, 클로드 등 범용모델을 기반으로 개발했다.
에릭 데이비스 SK텔레콤 AI테크콜라보레이션담당 부사장은 “1개의 범용 LLM으로 통신사들이 하려는 다양한 서비스와 문제를 해결하기는 쉽지 않을 것”이라며 “통신 데이터와 도메인 노하우에 맞춰 조정하는 미세조정과 모델평가를 거쳐 다양한 텔코 LLM을 만들고 이를 상황에 맞게 골라 쓸 수 있도록 하는 것이 멀티 LLM 전략”이라고 설명했다.
SK텔레콤은 텔코 LLM을 구축하기 위해 우선 텔코 데이터를 수집하고 비정형·정형 데이터를 선별, 정제했다. 이를 기반으로 범용 LLM을 통신사 전용으로 미세조정(파인튜닝)하는 과정을 거치고, 휴먼 피드백 기반의 강화 학습(RLHF)을 한 후 최종 모델평가를 하는 과정을 거쳤다.
예컨대 텔코 LLM이 답변한 내용에 대해 상담사들이 품질, 만족도 등을 평가하는 과정을 거친다. 이후 텔코 LLM의 언어 능력, 추론 능력, 통신 특화과제 수행 능력 등에 대해 모델평가를 한다. 요금제를 문의하거나 부가서비스 변경을 요청하는 식의 상담 유형을 선택하는 영역에서 낮은 점수를 받으면 관련 데이터를 더 구축하는 방식으로 학습하는 식의 미세조정 과정을 통해 고도화하는 방식이다.
◇ 정보 추천으로 상담·인프라 관리 비용 줄여
SK텔레콤이 텔코 LLM 개발에 나선 것은 기존 범용 LLM으로는 통신 관련 영역에서 적절히 대응하기에 한계가 있다고 판단해서다. 실제 범용 LLM은 통신사의 번호이동 방법이나 절차 등 전문지식을 제대로 학습하지 않아 요금제 추천 같은 요구에 제대로 대응하기 어렵다. 텔코 LLM은 범용 LLM에 추가 학습 과정(파인튜닝)을 거쳐 이같은 문제를 해결할 수 있다.
현재 고객센터에서 상담 전화 한 건을 처리하는데 고객 상담에 약 3분, 상담 후 업무 처리하는데 30초 이상이 걸린다. 텔코 LLM은 상담사가 전화하는 동안 LLM이 해결책을 상담사에게 제공하고 상담 내용을 요약해주는 등 상담 후 처리까지 걸리는 시간을 단축시키는데 초점을 맞췄다.
SK텔레콤은 네트워크 인프라 운용에도 텔코 LLM을 적용할 방침이다.
SK텔레콤 관계자는 “텔코 LLM이 장비 매뉴얼, 대응 사례 등의 정보를 기반으로 상황에 맞는 답변을 빠르게 제공하기 때문에, 사람이 직접 정보를 찾는 것보다 대응 시간을 단축시킬 수 있다”고 설명했다.
SK텔레콤은 향후 인프라 운용 중에 발생되는 데이터 분석과 축적된 데이터 기반의 정보 조회 등에도 텔코 LLM을 확대 적용할 계획이다.
정민영 SK텔레콤 AI플랫폼담당 부사장은 “고객센터, 인프라뿐만 아니라 마케팅, 유통망 등 고객 접점이나 법무, HR와 같은 사내 업무까지 통신사 운영의 다양한 영역에서 텔코 LLM이 업무 효율성을 높일 것”이라며 “지속적으로 텔코 LLM을 활용한 유즈케이스를 늘려갈 계획”이라고 밝혔다.
아울러 SK텔레콤은 향후 글로벌 텔코 LLM을 출시할 계획이다. 현재 SK텔레콤은 싱텔, 도이치텔레콤 등 글로벌 통신사와 LLM 개발을 위해 ‘글로벌 텔코 AI 얼라이언스(GTAA)’에 참여 중이다.
이날 회사는 통신사용 ‘인텔리전스 플랫폼’도 선보였다. 멀티 LLM부터 멀티모달, 오케스트레이션, 검색증강생성(RAG) 등까지 아우르는 일종의 ‘기업용 AI 개발·운용 패키지’다.
SK텔레콤은 인텔리전스 플랫폼을 현재 에이닷(A.) 등 서비스 등에 적용 중이며, 적용 사례를 지속 확대할 예정이다.
회사 관계자는 “우리나라를 비롯해 글로벌 통신사들은 물론 상담업무 등 유사한 업무특성을 가진 기업들이 텔코 LLM 인텔리전스 플랫폼을 통해 거대 플랫폼 개발에 드는 비용과 시간을 절감할 수 있을 것”이라고 강조했다.
댓글