스탠포드 대학의 HAI(인간 중심 인공 지능)의 새로운 보고서에 따르면 OpenAI 및 Meta와 같은 회사를 포함하여 인공 지능의 기본 모델을 개발한 유명 개발자 ​​중 어느 누구도 사회에 대한 잠재적 영향에 대한 충분한 정보를 공개하지 않은 것으로 나타났습니다.

오늘 Stanford HAI는 가장 인기 있는 10가지 인공 지능 모델의 제작자가 자신의 작업과 사람들이 시스템을 사용하는 방법에 대한 정보를 공개하는지 여부를 추적하는 기본 모델 투명성 지수(Underlying Model Transparency Index)를 발표했습니다. 테스트한 모델 중 Meta의 Llama2가 가장 높은 점수를 얻었고 BloomZ, OpenAI의 GPT-4가 그 뒤를 이었습니다. 그러나 그들 중 특별히 높은 점수를 받은 사람은 아무도 없는 것으로 밝혀졌습니다.

평가된 다른 모델로는 Stability의 StableDiffusion, Anthropic의 Claude, Google의 PaLM2, Cohere의 Command, AI21Labs의 Jurassic2, Inflection의 Inflection-1 및 Amazon의 Titan이 있습니다.

연구자들은 투명성이 상당히 광범위한 개념일 수 있다는 점을 인정합니다. 이들의 정의는 모델 구축 방법, 모델 작동 방법, 사람들이 모델을 사용하는 방법에 대한 정보를 제공하는 100개의 지표를 기반으로 합니다. 그들은 모델에 대한 공개 정보를 분석하고 회사가 파트너 및 제3자 개발자를 공개했는지 여부, 모델이 개인 정보를 사용했는지 여부 및 기타 여러 문제를 고객에게 알렸는지 여부에 따라 각각에 점수를 부여했습니다.

회사에서 모델 생성에 대한 연구 결과를 발표하면서 메타 점수는 53%로 모델 기초 부문에서 가장 높은 점수를 받았습니다. 오픈 소스 모델인 BloomZ는 50%의 지원으로 바짝 뒤지고 있으며 GPT-4는 47%의 지원으로 OpenAI의 상대적으로 고정된 설계 접근 방식에도 불구하고 안정적인 확산을 위해 동점을 이루고 있습니다.

OpenAI는 대부분의 연구 결과 공개를 거부하고 데이터 출처를 공개하지 않지만 GPT-4는 파트너에 대한 정보가 많기 때문에 높은 순위를 차지합니다. OpenAI는 다양한 회사와 협력하여 GPT-4를 제품에 통합하여 풍부한 공개 세부 정보를 볼 수 있도록 합니다.

그러나 스탠포드 연구자들은 모델 작성자 중 어느 누구도 개인 정보 보호, 저작권 또는 편견에 대한 불만을 제기할 위치를 포함하여 사회적 영향에 대한 정보를 공개하지 않았다는 사실을 발견했습니다.

스탠포드 대학 기본 모델링 센터의 사회 이사이자 지수 연구원 중 한 명인 Rishi Bommasani는 지수의 목표는 정부와 기업에 벤치마크를 제공하는 것이라고 말했습니다. EU의 인공 지능 법안과 같은 일부 제안된 규정은 곧 대규모 기본 모델 개발자에게 투명성 보고를 제공하도록 강요할 수 있습니다.

"우리가 지수를 통해 달성하려는 것은 모델을 더욱 투명하게 만들고 매우 불분명한 개념을 측정할 수 있는 보다 구체적인 것으로 분해하는 것입니다."라고 Bomasani는 말했습니다. 그룹은 비교를 더 쉽게 하기 위해 각 회사의 하나의 모델에 중점을 두었습니다.

Generative AI에는 크고 활동적인 오픈 소스 커뮤니티가 있지만 해당 분야의 일부 대기업은 연구 결과나 코드를 공개적으로 공유하지 않습니다. OpenAI는 이름에 "개방형"이라는 단어가 있지만 경쟁과 보안 문제를 이유로 더 이상 연구를 배포하지 않습니다.

Bommasani는 조직이 지수의 범위를 확장하는 데 열려 있지만 그동안 이미 평가한 10가지 기본 모델을 유지할 것이라고 말했습니다.