생성형 AI는 이제 산업과 기술은 물론 개별 조직과 개인의 경쟁력에서까지 빼놓을 수 없는 기술로 자리 잡고 있다. 반면, AI의 압도적, 파괴적 힘이 정치-사회 시스템을 왜곡시킬 것이라는 우려도 점점 커지고 있다. 태재미래전략연구원도 AI 발 가짜뉴스가 민주주의에 위협으로 작용하거나, 한편에서는 개발도상국 주민들의 삶의 질을 획기적으로 개선하는 ‘게임체인저’ 역할을 하는 등, AI 기술이 정치·사회 시스템에 미치는 긍정적, 부정적 영향을 다뤄왔다. 생성형 AI 기술은 빠른 속도로 발전 중이다. 전문가들은 머지않아 모든 면에서 인간의 능력을 뛰어넘는 AI가 등장할 것이라고 예고한다. 그러나 다른 한편에선 생성형 기술 자체에 내재된 문제점도 지속적으로 발견되고 있다.
지난 7월 네이처지에 실린 연구 “AI models collapse when trained on recursively generated data”는 그러한 면에서 주목할 만하다. 연구팀은 거대 AI 언어 모델이 AI로 생성된 데이터만으로 학습을 반복할 때 ‘모델 붕괴 model collapse’ 현상이 발생한다는 점을 발견했다. 구글 딥마인드 소속 과학자 Ilia Shumailov와 케임브리지 대학의 Zakhar Shumaylov가 주도한 이 연구는, 이러한 학습이 반복(재귀적 학습)될 경우 한정된 데이터셋에서 오는 통계적 근사 오류(statistical approximation error), 데이터셋을 그대로 반영하지 못해서 생기는 기능적 표현력 오류(functional expressivity error), AI 학습 과정의 한계에서 발생하는 기능적 근사 오류(functional approximation error) 등이 발생할 가능성이 높아진다고 주장한다. 훈련이 거듭될수록 AI 모델이 통계적으로 낮은 확률의 단어 조합을 생략하거나 원래의 확률 분포와 상이한 분포로 수렴하는 현상을 보인다. 연구자들은 GMM(Gaussian Mixture Model), VAE(Variational Autoencoder). LLM(Large Language Model) 등 모든 AI 모델에서 이러한 현상이 발생할 수 있다는 수학적 근거를 제시했다.
후기 모델일수록 문장 부자연스러워져
연구에서는 가장 흔히 사용되는 생성형 AI 모델을 이용해 이 가설을 실험했다. 최신 데이터를 학습한 LLM 모델을 기반으로 OPT-125m이라는 언어 모델을 구축한 후, 중세 영국의 건축물에 관한 원본 데이터를 입력값으로 넣은 첫 모델을 0세대로 설정했다. 이후 세대의 모델은 이전 모델에서 생성된 텍스트만으로 학습시키는 과정을 반복하여 그 결과값을 기록했다. 1세대만 해도 중세 시대의 건축물에 관련된 내용이 나왔으나 5세대에서는 관련 내용이 상당 부분 유실되었고, 9세대에 이르자 전혀 관계없는 ‘산토끼’에 대한 내용이 생성되었다. 생물에 비유하자면 9번의 생식 결과 건축물에서 산토끼가 태어났다는 의미가 되는 것이다. 뿐만 아니라 후기 모델일수록 문장이 부자연스러워지고 반복되는 구문이 늘어나는 등 뚜렷한 모델 붕괴 현상이 나타났다. 모델이 점차 원래의 데이터 분포에 대한 정보를 잃어간다는 뜻이다.
[그림] 재귀적으로 훈련된 AI 모델의 학습 과정에 나타나는 되먹임 현상
2026년 인터넷 콘텐츠 중 90% 이상이 AI로 생성된 것
거대 AI 모델은 주로 웹 크롤링과 웹 스크래핑(web scraping) 방식을 통해 데이터를 수집해 학습한다. 그러나 생성형 AI가 일상에 깊숙이 스며들수록, 웹상의 데이터는 AI가 생성한 것과 인간이 생성한 것이 뒤섞이게 된다. 올해 초 아마존 AWS AI Labs에서 발표한 연구에 따르면, 웹의 텍스트 중 절반 이상이 AI를 활용하여 번역되었으며¹, 그중 상당수는 원본 역시 AI로 생성된 것으로 추정된다. 2022년 유로폴 보고서에서는 이미 2026년까지 인터넷 콘텐츠 중 90% 이상이 AI로 생성될 것이라고 예측한 바 있다.² ‘모델 붕괴’ 가능성이 점점 높아질 수밖에 없는 것이다.
인터넷 사회에 진입한 이후 우리는 이미 수많은 ‘트롤링’과 클릭을 유도하는 자극적 가짜 정보들을 목격해 왔다. 그러나 LLM의 등장으로 이 같은 공격이 자동화되면서 그 파급력은 이루 말할 수 없게 됐다. 게다가 AI가 학습한 내용을 AI가 다시 반복 학습하는 일이 거듭될수록 낮은 빈도의 단어 조합이 생략되는 현상이 생긴다. 데이터 분포의 꼬리 부분, 즉 상대적으로 빈도가 적은 사례들에 대한 정보가 학습 횟수가 거듭될수록 사라진다는 것이다. 또 학습 횟수가 많아질수록 단일 추정치로 수렴되면서 원래의 데이터 분포와 상당히 다른 결과에 이르게 되는 문제점도 확인됐다.
‘흑인 의사’ ‘남자 간호사’ 같은 소수 단어 사라질 가능성 높아
이는 사회적 약자 또는 소수자들에게 상대적으로 큰 영향을 미친다. 예를 들어, 학습이 반복될수록 ‘흑인 의사’나 ‘남자 간호사’와 같은 단어 조합이 생략되는 경우가 많아진다면 그간 인간의 역사 속에서 축적된 사회적 평등의 합의를 위협할 수 있다.
약자 보호 위해선 AI로 생성된 데이터 명확하게 구분해야
이 연구는 또한 생성형 AI 도입 이전의 데이터를 더 많이 확보한 기업이 향후 AI 개발에서 우위를 점할 수 있다는 점도 시사한다. 웹상의 데이터에서 AI 생성 데이터의 비중이 높아질수록 후발 주자들은 질 낮은 데이터셋으로 AI 모델을 학습시킬 가능성이 커지기 때문이다. LLM 등 생성형 AI 모델의 장기적 발전을 위해서는 인간이 생성한 원본 데이터가 보존되고 공유되어야 하며, AI 생성 데이터와 인간이 생성한 데이터를 구분할 수 있는 시스템이 마련되어야 한다. 데이터의 출처를 명확히 밝힐 수 있는 기술 또한 AI 기업들 간에 공유되어야 한다. 연구자들은 적절한 조치가 취해지지 않으면 현재 웹 스크래핑으로 AI 모델을 학습시키는 방법은 곧 효용을 잃게 될 것이며, AI 기술 도입 이전의 데이터를 확보하거나 인간이 생성한 데이터를 직접적으로 공급받지 않는 한 AI 모델을 훈련시키는 일이 점점 더 어려워질 것이라고 경고한다.
신은섭 홍천체육회장 초청 간담회 3부 영상 - 인구 10만 늘리기 프로젝트
