소셜 미디어 분석 회사인 그라피카(Graphika)는 'AI 탈의' 사용이 증가하고 있다고 밝혔다.
이는 사용자가 제공한 이미지에서 옷을 제거하는 데 특별히 조정된 생성 인공지능(AI) 도구를 사용하는 행위를 말한다.
그라피카의 보고서에 따르면, 레딧(Reddit)과 X에서 인공지능을 이용한 비동의 성적 이미지(NCII) 서비스를 제공하는 34개 웹사이트와 52개 텔레그램 채널로의 추천 링크가 달린 댓글과 게시물 수를 측정한 결과, 2022년에는 1,280건이었던 것이 올해에는 32,100건을 넘어 연간 2,408% 증가했다. 비동의 성적 이미지 서비스는 개인의 동의 없이 성적 콘텐츠를 생성하는 인공지능 도구의 사용을 의미하며, 종종 실제 인물을 묘사한 음란물 생성에 관여한다.
그라피카는 이러한 AI 도구들이 현실적인 음란 콘텐츠를 대량으로 쉽고 비용 효율적으로 생성할 수 있게 만들어 많은 제공자들에게 유리하다고 지적한다.
이러한 제공자들이 없다면, 고객들은 시간이 많이 소요되고 비용이 많이 드는 맞춤형 이미지 확산 모델을 스스로 관리해야 할 것이다.
그라피카는 AI 탈의 도구 사용 증가가 가짜 음란 콘텐츠 생성을 초래하고, 표적 괴롭힘, 성적 협박, 아동 성적 학대 물질(CSAM) 제작과 같은 문제에 기여할 수 있다고 경고한다.
AI 탈의는 주로 사진에 초점을 맞추지만, 유튜브 인플루언서 미스터 비스트(Mr. Beast)와 할리우드 배우 톰 행크스(Tom Hanks)의 모습을 사용한 비디오 딥페이크 생성에도 사용되었다.
영국에 기반을 둔 인터넷 감시 기관인 인터넷 워치 파운데이션(IWF)은 10월 별도의 보고서에서 단 한 달 만에 다크 웹 포럼 하나에서 20,254개의 아동 학대 이미지를 발견했다고 밝혔다. IWF는 AI 생성 아동 포르노가 인터넷을 '압도'할 수 있다고 경고했다.
생성 인공지능 이미징의 발전으로 인해 딥페이크 포르노와 진짜 이미지를 구별하기가 더 어려워졌다고 IWF는 주의를 당부한다.
6월 12일 보고서에서 유엔은 인공지능 생성 미디어를 특히 소셜 미디어에서 정보의 진실성에 대한 '심각하고 긴급한' 위협으로 규정했다. 유럽 의회와 협의회 협상가들은 지난 12월 8일 금요일 유럽연합 내 AI 사용을 규제하는 규칙에 대해 합의했다.