인공지능(AI)으로 생성한 논문이 늘어나는 것으로 확인됐다. 특히 'AI 언어 모델로서'나 '마지막 지식 업데이트 기준'과 같이 챗봇이 생성해 낸 특유의 문구가 그대로 노출된 경우도 많은 것으로 전해졌다,
미디어 404는 최근 과학 전문 저널에 실린 논문 중 일부가 생성 AI로 작성한 것임을 확인하는 증거를 들며, 논문 게재 철회 사례도 늘어나고 있다고 보도했다.
이에 따르면 구글 스콜라의 공개 데이터베이스에서 '마지막 지식 업데이트(As of my last knowledge update)'라는 말을 검색, 115개의 논문을 찾아냈다. 또 'AI 언어 모델로서(As an AI language model)'나 '응답 재생성(regenerate response)'고 같은 챗봇 생성 문구는 논문 이외에도 아마존 제품 리뷰나 SNS 전반에서 쉽게 찾아볼 수 있다고 전했다.
실제로 지난 2월에는 중국의 시안 자오퉁 대학교와 시안 홍위 병원 연구진이 '세포 및 발생 생물학 프론티어'라는 과학 저널에 게재한 논문에 AI가 생성한 잘못된 글과 그림이 포함, 삭제되는 사태가 일어났다. 이 논문은 SNS에도 오르며 많은 연구자의 조롱을 받았다.
생성 논문은 분야를 가리지 않는 것으로 나타났다. 양자 얽힘이나 리튬 배터리 등과 같은 분야부터 심지어는 AI에 대한 연구 논문도 포함된 것으로 알려졌다. AI가 AI에 대한 글을 작성한 것이다.
또 대부분 생성 논문은 이른바 '공장'이라고 불리는 과학적 검토가 부실한 곳에서 등장했지만, 지명도가 있고 평판이 좋은 저널에서도 일부 발견됐다.
이런 추세에 맞춰 논문 철회도 증가하는 것으로 나타났다. 최근 네이처는 지난해 출판된 논문을 검토한 결과 역대 최다인 1만건 이상이 철회됐다고 전했다. 물론 모두가 생성 AI 문제로 취소된 것은 아니다.
또 전기전자공학자협회(IEEE)와 스프링거 저널은 생성 AI 언어가 포함된 논문을 120개 이상 삭제했다. 생성 AI 작성 글 감지 도구가 실망스러운 수준이라는 것을 감안하면, 적발되지 않은 논문이 더 많을 것이라는 추측이다.
챗봇 작성 논문이 사람이 쓴 논문보다 읽기 쉽다는 연구 결과도 나왔다. 이를 주도한 멜리사 카세나 인디애나대학교 의과대학 교수는 최근 타임과의 인터뷰에서 “솔직히 챗GPT가 만든 일부 가짜 논문은 상당히 설득력이 있었다"라며 "이를 잘 다듬으면 눈을 속이기는 쉬울 것”이라고 지적했다.
주요 과학 저널들의 생성 AI에 대한 기준도 제각각이다. 사이언스는 2022년부터 편집자가 먼저 승인하지 않은 AI 생성 텍스트나 이미지 사용을 금지하고 있다.
하지만 네이처는 지난해 생성 이미지는 금지하지만, 특정한 시나리오에서는 생성 텍스트를 허용한다는 방침을 밝혔다. 미국 의학협회 저널(JAMA)은 작성 시기와 사용 모델을 공개하면 생성 텍스트도 허용하고 있다.
이런 정책차는 연구자와 이를 심사하는 리뷰어 모두에게 불필요한 혼란을 야기할 수 있다는 지적이다. 특히 저명한 대형 저널일수록 확고하게 선을 그어, 권위를 지킬 필요가 있다는 설명이다.
임대준 기자 ydj@aitimes.com
댓글