딥페이크 (Deepfake)

딥페이크(Deepfake)는 딥러닝으로 사람의 얼굴이나 목소리를 합성해, 실제로는 하지 않은 말과 행동을 한 것처럼 보이게 만든 영상·이미지·음성을 뜻합니다. deep learning과 fake를 합친 말로, 2017년 온라인 커뮤니티에서 얼굴 교체 영상이 퍼지면서 이름이 굳어졌습니다.

초기 딥페이크는 두 신경망이 서로 경쟁하며 학습하는 GAN(생성적 적대 신경망) 구조를 썼습니다. 한쪽은 가짜 이미지를 만들고 다른 쪽은 진짜와 가짜를 구분하는데, 이 경쟁을 반복하면 구분하기 어려운 결과물이 나옵니다. 최근에는 디퓨전 모델을 쓰는 생성형 AI 도구가 늘면서, 오래 학습시키지 않아도 사진 몇 장과 문장만으로 비슷한 결과를 만들 수 있게 됐습니다.

얼굴만이 아니라 목소리까지

딥페이크는 얼굴 교체에서 출발했지만 지금은 범위가 훨씬 넓습니다. 음성 합성 기술이 발전하면서 짧은 통화 녹음만으로도 목소리를 흉내 낼 수 있고, 입 모양을 대사에 맞춰 다시 그리는 립싱크 합성도 흔해졌습니다. 전신 동작을 옮기는 모션 전이까지 합치면, 실제로 존재하지 않는 사람의 인터뷰 영상을 통째로 만들어내는 일도 가능합니다.

딥페이크가 문제로 다뤄지는 이유는 피해가 이미 현실에서 발생하고 있기 때문입니다. 유명인 얼굴을 붙인 가짜 투자 광고, 경영진 목소리를 흉내 낸 송금 지시 사기, 동의 없이 만들어진 성적 합성물, 선거 기간의 허위 발언 영상이 대표적입니다. 특히 음성 사기는 얼굴이 보이지 않는 통화 상황을 노리기 때문에 상대가 알아채기 어렵습니다.

같은 기술이 합법적으로 쓰이는 자리도 많습니다. 영화 후반 작업에서 배우의 나이를 되돌리거나 세상을 떠난 배우의 장면을 복원하고, 광고를 국가별 언어로 다시 더빙할 때 입 모양을 맞춥니다. 교육 콘텐츠에서 역사적 인물을 재현하는 사례도 있습니다. 구분 기준은 기술 자체가 아니라 당사자 동의와 합성 사실 고지 여부입니다.

탐지와 대응

딥페이크 탐지는 컴퓨터 비전 연구의 한 갈래로 발전해 왔습니다. 눈 깜빡임 빈도, 피부 아래 혈류에 따른 미세한 색 변화, 조명과 그림자의 불일치, 압축 흔적 차이를 단서로 삼습니다. 하지만 생성 모델이 좋아질수록 탐지 정확도는 떨어지고, 새 생성 기법이 나올 때마다 탐지 모델을 다시 학습시켜야 합니다. 결국 탐지 하나만으로는 방어가 어렵습니다.

그래서 최근에는 만들어질 때부터 표시를 남기는 방향으로 무게가 옮겨가고 있습니다. 생성 시점에 눈에 보이지 않는 워터마크를 심고, 콘텐츠의 촬영과 편집 이력을 서명된 메타데이터로 붙이는 출처 표준이 대표적입니다. 주요 생성 도구와 플랫폼이 같은 표준을 함께 채택해야 효과가 나기 때문에, 기술 문제이면서 동시에 AI 거버넌스 문제이기도 합니다.

제도 측면에서도 규제가 빠르게 늘고 있습니다. 여러 나라가 선거 관련 합성 콘텐츠 표시 의무와 동의 없는 성적 합성물 처벌 조항을 마련했고, AI로 만든 결과물임을 명시하도록 요구하는 규정도 확대되고 있습니다. 한국에서도 선거운동에 딥페이크 영상을 쓰는 것을 제한하는 조항이 공직선거법에 들어가 있습니다. 규정 내용은 국가와 시점에 따라 다르므로, 콘텐츠를 만들 때는 배포 대상 지역 기준을 확인하는 편이 안전합니다.

합성 데이터와 헷갈리지 않는 것도 중요합니다. 합성 데이터는 모델을 학습시키려고 일부러 만들어 낸 자료입니다. 특정한 실제 인물로 오인하게 만드는 데 목적을 둔 딥페이크와는 쓰임이 다릅니다. 만들어 내는 기술은 겹치지만 의도와 규제 방향이 갈립니다. 그래서 같은 생성 기술을 놓고도 어떤 결과물은 학습 자원으로 다뤄지고, 어떤 결과물은 규제 대상이 됩니다.

개인이 할 수 있는 대응도 있습니다. 급하게 돈을 요구하는 영상 통화나 음성 메시지는 아는 사람이라도 다른 경로로 다시 확인하고, 가족끼리 미리 정해둔 확인 문구를 쓰면 음성 사기를 상당 부분 막을 수 있습니다. 공개 계정에 올리는 얼굴 사진과 목소리 분량을 줄이는 것도 재료 자체를 줄이는 방법입니다. AI 안전 논의에서 딥페이크가 자주 언급되는 이유는, 기술 수준보다 사회적 신뢰가 먼저 무너질 수 있기 때문입니다.