Animation: Jacqui VanLiew
인스타그램이 AI가 생성한 가짜 인플루언서로 넘쳐나고 있다. 이들은 실제 모델과 성인 콘텐츠 제작자의 영상을 도용해 AI로 얼굴을 바꿔치기한 뒤 데이팅 사이트, Patreon, OnlyFans 유사 서비스, 각종 AI 앱 링크를 통해 수익을 창출하고 있다.
404 미디어가 4월 처음 보도한 이 문제는 그 이후 급격히 확산됐다. 인스타그램은 플랫폼 내 AI 생성 콘텐츠의 범람을 막고 피해를 입고 있는 진짜 크리에이터들을 보호하려는 의지나 능력이 부족함을 보여주는 단적인 예다. 실제 크리에이터들은 AI 콘텐츠와의 경쟁으로 생계에 직접적인 타격을 받고 있다고 호소한다.
1,000개 이상의 AI 생성 인스타그램 계정, 콘텐츠 제작자들이 전략을 공유하는 디스코드 채널, 'AI 핌핑'으로 돈 버는 방법을 설명하는 가이드 등을 분석한 결과, 이러한 계정을 만들고 수익화하는 것은 놀라울 정도로 쉽다는 사실이 드러났다. 사용되는 일부 앱은 애플 앱스토어와 구글 플레이 스토어에서도 다운로드 가능하다. 이처럼 한때 소 niche 현상이었던 문제가 산업적 규모로 확대되면서, 가까운 미래에 소셜 미디어가 인간이 아닌 AI 생성 콘텐츠로 지배되는 모습을 예고하고 있다.
성인 콘텐츠 제작자 엘라이나 세인트 제임스는 자신을 포함한 다른 크리에이터들이 AI를 이용한 도용 계정과 직접 경쟁하고 있다고 밝혔다. 많은 계정들이 성인 콘텐츠 제작자와 인스타그램 모델의 사진과 영상을 무단 도용하고 있다는 것이다. 그녀는 인스타그램 알고리즘의 다른 변화도 영향을 미쳤을 수 있지만, AI 생성 인플루언서 계정의 폭증 이후 자신의 콘텐츠 도달량이 월 평균 100만~500만 뷰에서 지난 10개월 동안 100만 뷰를 넘지 못하고, 때로는 50만 뷰에도 미치지 못하는 등 급격히 감소했다고 말했다.
세인트 제임스는 "AI가 만든 비정상적인 콘텐츠와 경쟁해야 하기 때문에 조회수가 급감하는 것"이라고 지적했다.
코넬 테크의 보안, 신뢰 및 안전 이니셔티브 책임자이자 전 구글 신뢰 및 안전 정보 책임자인 알렉시오스 만차를리스는 404 미디어 조사에서 검토된 약 900개의 계정 목록을 작성했다. 인스타그램을 사용하다 우연히 이러한 계정을 발견한 만차를리스는 AI 생성 콘텐츠가 소셜 미디어와 인터넷 전반에 미치는 영향을 파악하기 위해 조사를 시작했다고 밝히며, '증가하는 혼합된 비현실'을 우려했다. 그는 900개 이상의 계정을 쉽게 찾을 수 있었지만 인스타그램이 계정 스크래핑을 제한했기 때문에 더 이상 찾지 못했다고 덧붙였다.
만차를리스는 "5년 후 소셜 미디어의 모습을 보여주는 징후일 수 있다"며 "인스타그램의 매력적인 사람들 틈새시장뿐 아니라 인터넷의 다른 영역에도 이런 현상이 나타날 가능성이 높다. 상황이 매우 심각해질 수 있다는 신호"라고 경고했다.
검토된 1,000개 이상의 AI 생성 인스타그램 인플루언서 계정 중 100개는 딥페이크 콘텐츠를 포함하고 있었다. 이들은 모델이나 성인 콘텐츠 출연자의 기존 영상에서 얼굴을 AI 생성 얼굴로 바꿔 마치 새롭고 독창적인 콘텐츠처럼 보이게 만들었다. 나머지 900개 계정은 실제 사진을 학습시켜 만들거나 유명인과 유사하게 만든 완전한 AI 생성 이미지를 공유했다. 사진이나 영상 편집은 가해지지 않았다.
인스타그램이 AI가 생성한 가짜 인플루언서로 넘쳐나고 있다. 이들은 실제 모델과 성인 콘텐츠 제작자의 영상을 도용해 AI로 얼굴을 바꿔치기한 뒤 데이팅 사이트, Patreon, OnlyFans 유사 서비스, 각종 AI 앱 링크를 통해 수익을 창출하고 있다.
404 미디어가 4월 처음 보도한 이 문제는 그 이후 급격히 확산됐다. 인스타그램은 플랫폼 내 AI 생성 콘텐츠의 범람을 막고 피해를 입고 있는 진짜 크리에이터들을 보호하려는 의지나 능력이 부족함을 보여주는 단적인 예다. 실제 크리에이터들은 AI 콘텐츠와의 경쟁으로 생계에 직접적인 타격을 받고 있다고 호소한다.
1,000개 이상의 AI 생성 인스타그램 계정, 콘텐츠 제작자들이 전략을 공유하는 디스코드 채널, 'AI 핌핑'으로 돈 버는 방법을 설명하는 가이드 등을 분석한 결과, 이러한 계정을 만들고 수익화하는 것은 놀라울 정도로 쉽다는 사실이 드러났다. 사용되는 일부 앱은 애플 앱스토어와 구글 플레이 스토어에서도 다운로드 가능하다. 이처럼 한때 소 niche 현상이었던 문제가 산업적 규모로 확대되면서, 가까운 미래에 소셜 미디어가 인간이 아닌 AI 생성 콘텐츠로 지배되는 모습을 예고하고 있다.
성인 콘텐츠 제작자 엘라이나 세인트 제임스는 자신을 포함한 다른 크리에이터들이 AI를 이용한 도용 계정과 직접 경쟁하고 있다고 밝혔다. 많은 계정들이 성인 콘텐츠 제작자와 인스타그램 모델의 사진과 영상을 무단 도용하고 있다는 것이다. 그녀는 인스타그램 알고리즘의 다른 변화도 영향을 미쳤을 수 있지만, AI 생성 인플루언서 계정의 폭증 이후 자신의 콘텐츠 도달량이 월 평균 100만~500만 뷰에서 지난 10개월 동안 100만 뷰를 넘지 못하고, 때로는 50만 뷰에도 미치지 못하는 등 급격히 감소했다고 말했다.
세인트 제임스는 "AI가 만든 비정상적인 콘텐츠와 경쟁해야 하기 때문에 조회수가 급감하는 것"이라고 지적했다.
코넬 테크의 보안, 신뢰 및 안전 이니셔티브 책임자이자 전 구글 신뢰 및 안전 정보 책임자인 알렉시오스 만차를리스는 404 미디어 조사에서 검토된 약 900개의 계정 목록을 작성했다. 인스타그램을 사용하다 우연히 이러한 계정을 발견한 만차를리스는 AI 생성 콘텐츠가 소셜 미디어와 인터넷 전반에 미치는 영향을 파악하기 위해 조사를 시작했다고 밝히며, '증가하는 혼합된 비현실'을 우려했다. 그는 900개 이상의 계정을 쉽게 찾을 수 있었지만 인스타그램이 계정 스크래핑을 제한했기 때문에 더 이상 찾지 못했다고 덧붙였다.
만차를리스는 "5년 후 소셜 미디어의 모습을 보여주는 징후일 수 있다"며 "인스타그램의 매력적인 사람들 틈새시장뿐 아니라 인터넷의 다른 영역에도 이런 현상이 나타날 가능성이 높다. 상황이 매우 심각해질 수 있다는 신호"라고 경고했다.
검토된 1,000개 이상의 AI 생성 인스타그램 인플루언서 계정 중 100개는 딥페이크 콘텐츠를 포함하고 있었다. 이들은 모델이나 성인 콘텐츠 출연자의 기존 영상에서 얼굴을 AI 생성 얼굴로 바꿔 마치 새롭고 독창적인 콘텐츠처럼 보이게 만들었다. 나머지 900개 계정은 실제 사진을 학습시켜 만들거나 유명인과 유사하게 만든 완전한 AI 생성 이미지를 공유했다. 사진이나 영상 편집은 가해지지 않았다.