로이드케이(대표 김대훈)는 29일 서울 갤러리 하나, 둘에서 ‘DO-DAY 세미나 2024’를 진행, 최근 증가하는 ‘프라이빗 데이터 기반 대형언어모델(LLM) 구축’ 트렌드를 소개했다.
로이드케이는 빅데이터 분석을 기반으로 기업에 맞는 생성 인공지능(AI)을 적용, 디지털전환(DX)을 지원하는 기업이다. 엘라스틱 서치의 엘리트 파트너로서 수준 높은 검색 엔진 구현도 가능하다.
'검색 증강 생성(RAG) 구성 고려사항’ 세션 발표에 나선 정종균 COO는 “확실히 RAG 관련 수요가 증가, 점차 보편화되고 있다”라며 “최근 홈쇼핑, 법률, 보험사, 카드사, 은행, 제조사까지 다양한 기업과 협업 미팅을 진행하며 느낀바”라고 말했다.
‘기업 전용 RAG’란 사내 빅데이터를 벡터라이징 및 RAG로 처리, 맞춤 검색 엔진을 구현한 이후 '챗GPT'나 '라마 2' 등 퍼블릭 LLM을 한번 더 거치는 과정을 말한다. 인코더와 디코더의 영역을 모두 결합한 형태다.
정종균 COO는 “RAG 구성에 있어서 기업이 보유한 데이터 종류, 원하는 콘텐츠 타입 및 목적을 정확히 설정해야만 알고리즘 및 인력 배분에 있어서 최대 효율을 낼 수 있다”라고 강조했다.
특히 기술실증(PoC) 과정에서 ‘사내 직원 대상 내부 지식 검색’의 형태로 첫 테스트를 진행, 보안의 우려를 최소화하는 경우가 압도적으로 많다고 덧붙였다. 현재 로이드케이가 진행 중인 기술실증은 5건에 달한다.
구체적으로 ‘법률 판례 검색 및 논문 특허 비교(유사성 확인 및 컨설팅)’ ‘보험 약관 검색’ ‘이커머스 사이트 내 상품 찾기’ 등을 제시했다.
그는 “생성 AI가 요즘 떠오르는 건 사실이지만, 퍼블릭 LLM에 비해 프라이빗 LLM이 큰 효용을 내기엔 실질적으로 어려운 상황”이라며 “한국이 IT에 강한 건 사실이지만, 생성 AI 활용에 있어서는 더 노력해야 하는 상황”이라고 평했다.
한편 로이드케이는 5~6월쯤 호텔 규모에서 차기 세미나를 진행할 예정이다.
장세민 기자 semim99@aitimes.com
댓글