메타 감독위원회는 최근 전쟁, 재난, 선거 등 고위험 상황에서 AI 생성 콘텐츠와 딥페이크 비디오의 급속한 확산에 대처하기 위해 기업들이 가능한 한 빨리 규제 규칙을 강화하고 명확하게 할 것을 촉구하는 결정을 발표했습니다. 기관은 현재 Meta가 특히 갈등과 위기 상황에서 대규모 AI 생성 콘텐츠에 라벨을 지정하고 식별하는 데 명백한 단점이 있으며 이러한 결함이 대중을 오도할 수 있다고 지적했습니다.

이런 비판은 지난해 메타 플랫폼에 등장한 가짜 영상에서 비롯됐다. AI가 생성한 이 영상은 이스라엘 도시 하이파의 건물 피해 장면을 보여주겠다고 주장하며 필리핀의 한 사용자가 뉴스 출처로 위장하여 게시한 것입니다. 많은 사용자가 동영상을 신고했지만 플랫폼은 내부 검토를 수행하지도 않았고 제3자 사실 확인 메커니즘을 실행하지도 않았습니다. 해당 영상은 오랫동안 온라인에 올라왔지만 '고위험 AI 콘텐츠'로 표시되지 않았다. 감독위원회가 개입하기 전까지는 관심을 끌지 못했습니다.

감독 위원회의 역할은 전 세계적으로 사용자와 커뮤니티에 대한 Meta의 처우를 개선하는 것입니다. 위원회는 이 사건이 Facebook, Instagram, Threads와 같은 플랫폼에서 Meta의 AI 콘텐츠 거버넌스 시스템에 체계적인 문제를 노출했다고 믿습니다. 이는 사용자의 자발적인 공개 또는 내부 "업그레이드" 프로세스에 너무 많이 의존하고 특히 전쟁, 재난 및 매우 정치적으로 민감한 사건 중에 놀라운 속도와 규모로 확산되는 AI 콘텐츠의 현재 현실과 일치할 수 없습니다.

현재 Meta의 AI 생성 콘텐츠 라벨링은 제작자가 자체적으로 AI 사용을 선언하는지, 아니면 콘텐츠가 내부적으로 특별 검토 프로세스로 에스컬레이션되는지 여부에 따라 크게 달라집니다. 감독위원회는 이러한 접근 방식이 인터넷에서 확산되는 딥 페이크와 합성 미디어를 처리하기에는 충분하지 않으며, 콘텐츠가 어떻게 생성되고 잠재적으로 오해를 불러일으킬 수 있는지 사용자에게 즉시 상기시키기 어렵다고 지적했습니다.

최근 권고 사항에서 감독 위원회는 메타에게 잘못된 정보 정책 대응의 단편적인 패치워크에 계속 의존하기보다는 AI 생성 콘텐츠에 대한 별도의 커뮤니티 표준 세트를 개발하도록 요청했습니다. 위원회는 플랫폼이 고위험 시나리오에 보다 일관되고 투명하게 개입할 수 있도록 AI 생성 이미지, 비디오 및 오디오에 대한 규칙을 명확한 프레임워크로 통합해야 한다고 주장합니다.

위원회는 또한 메타가 공공 안전, 여론, 선거에 영향을 미칠 수 있는 콘텐츠에 눈에 띄게 표시하기 위해 "고위험 AI" 라벨을 더 자주 사용할 것을 권고했습니다. 동시에 기업은 이미지, 비디오, 오디오 등 다양한 미디어 형식을 포괄할 수 있도록 자동화된 탐지 시스템의 기능을 더욱 개선하고 디지털 합성 또는 변조된 콘텐츠를 공개하지 않는 사용자가 직면하게 될 구체적인 처벌에 대해 사용자에게 명확하게 설명해야 합니다.

기술 기반 측면에서 감독 위원회는 콘텐츠 자격 증명 산업 프레임워크를 명명하고 메타가 이 메커니즘을 보다 적극적이고 균일하게 채택해야 한다고 믿었습니다. 이 프레임워크는 콘텐츠에 메타데이터를 첨부하여 자료의 출처와 AI 도구 사용 여부를 표시함으로써 콘텐츠 추적성과 투명성을 향상시키는 것을 목표로 합니다. 위원회는 Meta가 현재 자체 AI 도구로 생성된 콘텐츠의 라벨링을 포함하여 그러한 표준을 시행하는 데 일관성이 없다는 점을 우려하고 있습니다.

감독위원회는 앞서 메타의 '미디어 조작' 규정이 '콘텐츠가 기만적인지 여부'보다 'AI 사용 여부'에 너무 초점을 맞춰 너무 혼란스럽고 범위가 너무 좁다고 비판한 바 있다. 압력을 받아 메타는 관련 라벨링 시스템을 조정하고 원래의 "Made with AI(AI 정보)" 라벨을 더 광범위한 "AI 정보(AI 정보)" 라벨로 교체했습니다. 그러나 이러한 변화는 외부 세계에서도 의구심을 불러일으켰다. 새로운 라벨 프롬프트는 너무 일반적이고 눈길을 끌지 못하며 사용자는 주요 정보를 쉽게 무시할 수 있다고 생각됩니다.

현 미국 대통령 도널드 트럼프 취임 전날, Meta CEO인 Mark Zuckerberg는 회사의 기존 제3자 사실 확인 파트너십이 "너무 정치적으로 편향"되어 플랫폼에 대한 사용자의 신뢰를 훼손했으며 커뮤니티 노트 메커니즘으로 대체될 것이라고 발표했습니다. 이러한 조정은 플랫폼이 잘못된 정보를 식별하고 수정하는 데 있어 사용자 커뮤니티의 자발적인 라벨링 및 오류 수정에 더욱 의존하게 된다는 것을 의미합니다. 딥 페이크와 AI 콘텐츠가 급속히 확산되는 상황에서 이 전략은 그 효율성에 대한 지속적인 논쟁을 불러일으키기도 했습니다.