생성 AI에 대한 많은 우려 중 하나는 원본 작성자의 허가 없이 인터넷에서 스크랩한 이미지를 사용하여 이미지를 생성하는 능력입니다. 그러나 새로운 도구는 모델 훈련에 사용되는 데이터를 "중독"하여 이 문제를 해결할 수 있습니다.
MIT Technology Review는 시카고 대학의 연구원들이 만든 Nightshade라는 새로운 도구를 강조합니다. 업로드하기 전에 육안으로 볼 수 없는 이미지 픽셀에 아주 작은 변경을 가하는 방식으로 작동합니다. 이로 인해 DALL-E, StableDiffusion 및 Midjourney와 같은 도구에서 사용되는 훈련 데이터가 손상되어 예측할 수 없는 방식으로 모델이 충돌하게 됩니다.
생성 AI가 가짓수에 중독된 사람들의 이미지를 어떻게 잘못 해석할 수 있는지 보여주는 몇 가지 예로는 개를 고양이로, 자동차를 소로, 모자를 케이크로, 핸드백을 토스터로 바꾸는 것 등이 있습니다. 또한 다양한 예술 스타일을 암시하는 데에도 좋습니다. 입체파는 애니메이션이 되고, 만화는 인상주의가 되고, 개념 미술은 추상화가 됩니다.
arXiv 연구원들이 최근 발표한 논문에서는 Nightshade를 힌트별 중독 공격으로 묘사합니다. 수백만 개의 이미지를 오염시키는 대신 Nightshade는 아래 이미지에 표시된 것처럼 약 50개의 샘플로 안정적인 확산 신호를 파괴할 수 있습니다.
연구원들은 이 도구가 "개"와 같은 특정 프롬프트 용어를 독살할 수 있을 뿐만 아니라 "강아지", "사냥개", "허스키"와 같은 관련 개념에도 "침투"할 수 있다고 썼습니다. 간접적으로 관련된 이미지에도 영향을 미칩니다. 예를 들어, "판타지 아트"를 중독하면 "용", "반지의 제왕에 나오는 성", "마이클 웰런의 그림"에 대한 프롬프트가 다른 것으로 바뀔 것입니다.
Nightshade를 만든 팀을 이끌었던 시카고 대학의 Ben Zhao 교수는 이 도구가 예술가의 저작권과 지적 재산권을 존중하지 않는 AI 회사를 억제하는 역할을 하길 바란다고 말했습니다. 그는 악의적인 사용의 가능성을 인정했지만 더 크고 강력한 모델에 실제 피해를 입히려면 공격자가 수천 개의 이미지를 감염시켜야 합니다. 이러한 시스템은 수십억 개의 데이터 샘플을 학습했기 때문입니다.
생성적 AI 모델 트레이너는 고손실 데이터 필터링, 빈도 분석 및 기타 탐지/제거 방법과 같은 이러한 관행에 대한 방어 수단을 사용할 수도 있지만 Ben Zhao는 그다지 강력하지 않다고 말했습니다.
일부 대규모 AI 회사는 아티스트에게 자신의 작업을 AI 교육 데이터 세트에 사용하지 않을 수 있는 옵션을 제공하지만 이는 힘든 과정이 될 수 있으며 폐기되었을 수 있는 작업을 해결하지 못합니다. 많은 사람들은 아티스트가 선택을 취소하는 대신 선택할 수 있어야 한다고 믿습니다.