포로노 딥페이크 몇초 만에 뚝딱

 

파트리크 보이트 Patrick Beuth 등 <슈피겔> 기자
 

▲ 오브리 드레이크 그레이엄은 자신이 부르지도 않은 브롱크스 드릴 장르의 히트곡 <뭉크 필린 유>(Munch (Feelin’U))의 커버 버전을 들었다. AI가 그의 목소리를 흉내 낸 것이다. 유튜브 갈무리

3. 클론의 공격
2023년 4월 중순, 오브리 드레이크 그레이엄은 특이한 경험을 했다. 그는 자기 목소리를 들었다. 최소한 자기 목소리와 똑같은 소리를 들었다. 팬들에게 중간 이름인 ‘드레이크’로만 알려진 이 힙합 뮤지션은 자신의 수많은 히트곡 컬렉션에 또 한 곡을 추가하기 직전이었다. 그 노래는 브롱크스 드릴(Drill) 장르(뉴욕 브롱크스의 래퍼들이 유명 팝송을 샘플링해 드릴로 만든 장르)의 히트곡 <뭉크 필린 유>(Munch (Feelin’ U))의 커버 버전이었다. 하지만 드레이크는 이 곡을 부른 적이 없다. AI가 그를 흉내 낸 것이다. “더 이상 참을 수 없다”고 그레이엄은 인스타그램에서 언급했다. 클론(같은 유전정보를 가진 복제된 생물의 개체나 세포)의 공격에 아무런 대응도 하지 못하는 무기력한 항변이다.
 

▲ 음성 복제품을 제작·판매하는 영국 런던의 스타트업 아플로리드믹의 창업자 비에른 위스는 “합성 목소리와 실제 사람의 목소리를 구분할 수 없을 정도가 됐다”고 말한다. 유튜브 갈무리

▲ 독일 최대 미디어그룹 베텔스만의 자회사인 BMG의 최고경영자(CEO) 토마스 쾨스펠트는 AI로 조만간 음악산업이 완전히 바뀔 것이라고 내다봤다. 베텔스만 누리집

같은 달 가수 위켄드와의 듀엣곡 <하트 온 마이 슬리브>(Heart On My Sleeve)가 발매됐다. 이 곡에서는 드레이크뿐만 아니라 위켄드의 목소리도 가짜로 만들어졌고, 노래는 커버가 아닌 완전히 새로 창작된 오리지널 곡이었다. ‘고스트라이터997’(ghostwriter997)이라는 매우 적절한 닉네임을 가진 인터넷 이용자가 공개한, 기계가 만든 리듬앤블루스(R&B) 곡이다. 이 곡은 드레이크의 음반사가 가짜 노래의 유통을 중단시킬 때까지 수백만 명을 열광시켰다. <하트 온 마이 슬리브>의 유통이 중단된 이유는 아직 법률적 문제가 명확하지 않은 가수의 목소리 복제 때문이 아니라, 곡에 불법 사용된 것으로 추정되는 샘플 때문이었다. 관련된 모든 사람에게 큰 피해가 없는 결말이다. 어쩌면 앞으로 다가올 이상한 시대의 전조일 수도 있다.
누구나 사용할 수 있는 AI 모델이 등장하면서 유튜브에서는 장르의 경계와 음악적 시대의 구분이 모호해졌다. ‘컨트리 음악의 신화’ 조니 캐시가 영국의 전설적인 록밴드 퀸의 히트곡 <보헤미안 랩소디>를 부르는 것? 프랭크 시나트라가 마이클 잭슨 노래를 커버 버전으로 부르는 것? 모두 가능하다. 음성 복제품을 제작·판매하는 영국 런던의 스타트업 아플로리드믹(Aflorithmic)의 창업자 비에른 위스는 “합성 목소리는 이제 실제 사람인지 아닌지 구분할 수 없을 정도로 훌륭하다”고 말한다. 음성 복제의 기반은 화자의 실제 목소리다.
위스는 이 기술이 지난 6개월 동안 엄청난 발전을 이뤘다고 말했다. 과거에는 합성 음성을 사용하려면 학습자료를 훈련하는 데 50~100시간과 수십만달러의 금액이 필요했다. 하지만 늦어도 2023년 말에는 피자를 배달하는 시간보다 더 짧은 15~20분 정도면 충분할 것이라고 한다.
아플로리드믹은 1천여 명의 AI 복제 음성을 60개 이상의 언어로 제공한다. 마케팅 회사들은 이 서비스를 광고에 활용하고, 팟캐스트에서도 이미 AI 음성이 쓰인다. 할리우드 스튜디오들은 스타의 목소리를 디지털화하기 시작했다. 독일 성우협회 이사인 우무트 디리크는 “최종적으로 더빙 작업이 없어질 수도 있다”고 우려한다. 그는 현재 성우 회원들에게 AI용으로 그들의 목소리를 쓰는 것을 금지하게 하거나 그에 상응하는 높은 금액을 요구하라고 권고한다.
기업가 위스는 벌써 음악 선곡뿐 아니라 가상 뉴스캐스터가 진행하는 음성 뉴스도 개별 청취자에게 맞게 조정하는 개인화된 라디오 방송사를 꿈꾼다. 여성 캐스터 혹은 남성 캐스터, 독일어 또는 영어, 간결하게 또는 진지하게 AI는 모든 것을 할 수 있다.
토마스 쾨스펠트(33)는 “우리는 이 문제에 능동적이면서 동시에 방어적이어야 한다”고 말한다. 얼마 전부터 독일 최대 미디어그룹 베텔스만의 자회사인 BMG의 최고경영자(CEO)가 된 이 젊은이는 자신이 어떤 상황에 처했는지 잘 안다. “10~15년마다 음악산업은 완전히 바뀐다.” 그는 AI가 임기 동안 가장 중요한 주제 중 하나가 될 것이라고 말했다.
쾨스펠트는 티나 터너, 블랙 사바스, 존 레전드, 지지탑(ZZ Top)의 저작권 목록을 관리한다. 한때 유일무이했지만 지금은 AI로 쉽게 모방할 수 있는 목소리의 뮤지션들이다. 쾨스펠트는 “생성형 AI는 창작 과정을 민주화한다”면서 이는 장려해야 한다고 말했다. 과거에는 스튜디오 전체를 동원했던 아이디어를 지금은 컴퓨터 한 대만으로 구현할 수 있다는 것이다. “이 곡을 색소폰 연주를 넣어 들어볼 수 있을까? 아니면 트럼펫 없이? 이런 실험이 곧 몇 번의 클릭만으로 실현될 것이다.”
쾨스펠트의 업무에서 방어적인 부분은 모방자로부터 스스로를 지킬 수 없는 모든 음악가에 관한 일이다. 비욘세의 노래를 갑자기 티나 터너의 목소리로 바꿔 부를 경우 누가 티나 터너 노래의 권리 보유자를 보호하는가? 뮤지션에게 자신의 목소리를 때로 라이선스로 빌려줄 수도 있다고 누가 설득할까? 그리고 누가 AI 히트곡이 벌어들이는 돈을 가져갈 것인가? “우리는 음악 저작권을 보호하는 데 관심이 있다”고 쾨스펠트는 말했다. 이는 또한 베텔스만이 AI 파이에서 크고 맛있는 조각을 원한다는 뜻이다.
아플로리드믹의 비에른 위스도 사람들에게 비슷한 것을 약속한다. 그들의 목소리는 상품이 될 것이고, 복제된 목소리가 어딘가에서 사용되면 목소리의 주인도 돈을 벌 수 있다고 말이다. 그렇게 되면 어느 날 라디오를 켰을 때, 하드웨어 가게의 개업을 광고하는 자신의 목소리를 들을 수도 있다. 특정 정당의 홍보로 자신의 목소리가 쓰일 수도 있다. 그나마 위스는 허락받은 사람들의 목소리만 복제할 것이라고 약속한다.
 

▲ 수많은 AI로 생성된 아동 성폭력 이미지가 특정한 다크넷(Darknet) 포럼에서 교환되고 있다. 이미지투데이

▲ 러시아 통신회사 메가폰은 2021년 실어증으로 영화계를 은퇴한 할리우드 액션스타 브루스 윌리스를 AI로 재현해 2022년 그가 등장하는 광고를 제작해 내보냈다. 러시아의 AI 기업인 딥케이크에 브루스 윌리스가 자신의 얼굴 이용 권리를 팔았는지를 놓고 공방이 오갔다. 유튜브 갈무리

4. 완전 나체
2023년 1월 말, 한 남자가 카메라 앞에 앉아 눈물을 흘렸다. 브렌던 유잉은 나쁜 짓을 저질렀고, 그가 할 수 있는 일은 반복해서 사과하는 것뿐이었다. 그는 “너무 부끄럽다”며 자신이 한 일은 역겹고 잘못된 행동이라며 죄송하다고 말했다. 팬들에게 아트리옥(Atrioc)이라는 닉네임으로 알려진 유잉은 전업 비디오게임 스트리머다. 모든 사람에게 정기적으로 그의 컴퓨터에서 무엇을 하고 있는지 보여준다. 다만 이런 일은 조심하지 않으면 문제가 생긴다.
유잉이 눈물을 흘리며 사과하기 며칠 전, 그의 방송을 보던 시청자가 유잉의 열린 브라우저 탭에서 유료 포르노 사이트를 발견했다. 거기에는 유잉의 동료 여성 스트리머의 얼굴과 포르노 배우의 벌거벗은 육체를 AI가 합성한 동영상이 재생되고 있었다. 유잉은 “병적인 호기심 때문에” 이 동영상을 구매한 것이라고 강조했다.
신기술의 역사에서 혁신을 가장 빠르게 수용한 것은 성인 산업인 경우가 많았다. 3차원(3D) 동영상, 4K 해상도, 또는 가상현실 등등. 포르노 제작자는 항상 최고의 만족을 위해 환상의 예술을 사용하는 방법을 가장 잘 이해했다. 이른바 딥페이크(AI로 특정인의 얼굴·목소리·행동 등을 위조하는 기술)는 불과 몇 달 만에 온라인 포르노에서 가장 인기 있는 상품이 됐다. 예전에는 전문가가 몇 시간 또는 며칠 동안 작업해야 만들어낼 수 있었던 사실적인 가짜 이미지와 동영상을, AI는 단 몇 초 만에 만들 수 있다. 보고서에 따르면 관련 웹사이트에는 매달 1천 개 이상의 동영상이 업로드되고, 디스코드(Discord·음성, 채팅, 화상통화 등을 지원하는 인스턴트 메신저) 포럼은 이용자에게 맞춤형 서비스를 제공한다. 구강성교를 하는 직장 여성 동료의 영상을 원한다고? 약간의 비용을 내면 손쉽게 얻을 수 있다.
 

▲ 영국 찰스3세 국왕의 대관식을 풍자한 AI 생성 그림. 네일 메이슨/ 스타트(Start) 누리집

전문가들에 따르면 독일에서 개발된 AI 프로그램 스테이블디퓨전이 가해자들에게 특히 인기가 있다고 한다. 이 프로그램은 오픈소스이기에 다운로드한 뒤 인터넷에 연결하지 않고도 AI를 훈련할 수 있다. 마치 포르노 제작을 위해 만들어진 듯한 프로그램이다. 하지만 이 프로그램은 인터넷의 더 어두운 구석에서도 사용된다.
수많은 AI로 생성된 아동 성폭력 이미지가 이미 특정한 다크넷(Darknet) 포럼에서 교환되고 있다. 최근 조사에 따르면 그중 일부는 심각한 아동 성폭력을 보여주는 이미지로, 육안으로는 실제 사진과 거의 구분할 수 없다고 한다. <슈피겔> 정보에 따르면 독일에서도 이미 AI로 생성된 아동 성폭력 이미지가 압수됐고, 이 이미지는 실제 아동 성폭력 사진과 마찬가지로 독일 법에 따라 처벌될 수 있다.
그러나 경험 많은 수사관들은 AI 붐이 이제 막 시작됐을 뿐이라며 우려한다. 이는 실제 성폭력 피해자들에게도 영향을 미칠 수 있다. 소아성애자를 수사하는 경찰관들은 조만간 압수한 사진이 실제 성폭력을 보여주는지 아니면 AI가 생성한 이미지인지 묻는 말에 자주 직면할 것이다. 수사관들은 피해 아동을 식별하고 추가적인 성폭력에서 아동을 구하기 위해 몇 시간 또는 며칠에 걸쳐 사진의 세부 사항이나 특징을 찾는 경우가 많다. 이제는 그에 더해 기가바이트 규모의 가짜 자료 중에서 진짜 자료를 찾아야 한다. 바늘은 그대로인데 찾아야 하는 건초 더미가 한없이 커졌다.
마르쿠스 하르트만 쾰른 검찰청장은 “우리는 이미지 생성기가 곧 실제 아동 성폭력처럼 보이는 영상을 만들 정도로 성능이 향상될 것에 대비하고 있다”고 말했다. 검찰은 이미 실제 아동 성폭력 자료와 AI가 만든 아동 성폭력 자료를 구분하는 분석 프로그램 설치를 검토하고 있다. 알고리듬과의 경쟁이다.
AI 프로그램 스테이블디퓨전을 만든 회사인 스태빌리티AI(Stability AI)는 자사의 프로그램으로 성폭력 이미지를 만드는 것을 금지하고 수사당국을 지원한다고 강조한다. 하지만 이 회사는 도대체 무엇을 하고 있는가? 거의 모든 대형 인터넷기업은 범죄 가능성이 있는 사진이나 동영상을 국제 조직인 미국 실종학대아동방지센터(NCMEC)에 신고한다. NCMEC는 아동 성폭력 이미지 전파와의 싸움에서 중심적 구실을 한다. 스태빌리티AI가 이에 참여하는지는 확실치 않다. <슈피겔>의 문의에 회사는 응답하지 않았다.
소아성애자들은 벌써 스테이블디퓨전의 악용 방지 메커니즘을 우회하는 방법을 교환하고 있다. 그중 일부는 존재하는 아동 성폭력 이미지를 사용해 AI 생성기를 훈련하기 시작했다. 하르트만 청장은 이런 움직임이 (다크넷의 소아성애자) 포럼의 분위기를 고조시키고, 이에 따라 범죄자들의 욕구도 점점 더 구체적으로 바뀔 수 있다고 우려한다. 심각한 트라우마에 시달리는 피해자 처지에서 보면, 그들이 찍힌 사진이 AI를 훈련하는 데 사용되는 것이 또 다른 성폭력로 느껴질 수도 있다고 피해자 단체는 말한다.

ⓒ Der Spiegel 2023년 제28호
Die große Fake-Maschine
번역 황수경 위원