9월 13일, 세계 최대 경영대학원 중 하나인 펜실베니아대학교 와튼스쿨이 공식 홈페이지에 연구 결과를 발표했다. ChatGPT(GPT-4)는 창의적인 아이디어 테스트에서 엘리트 MBA 학생들을 능가했습니다. 이 테스트에서는 ChatGPT와 MBA 학생들에게 소매가가 50달러 이하인 대학 시장을 위한 200개의 제품 아이디어를 디자인하도록 요청했습니다. 창의성을 측정하는 기준은 누구의 창의성이 더 많은 제품을 팔 수 있는지를 보는 것입니다.

ChatGPT는 15분 만에 200개의 제품 아이디어를 자동으로 생성했습니다. MBA 학생들은 15분 안에 5개의 아이디어만 내놓았습니다.. 그 결과 ChatGPT 제품의 평균 구매율은 46.8%인 반면, 학생들의 구매율은 40.4%에 불과해 AI 로봇에 뒤진 것으로 나타났다.

Christian Terwiesc, Wharton 교수이자 혁신 연구 관리 연구소 공동 회장, 나는 항상 창의성이 인간이 가장 잘하는 영역 중 하나라고 생각했지만 테스트 결과는 놀랍습니다. ChatGPT를 통해 모든 사람이 더 나은 창의적인 아이디어를 창출하려고 노력해야 한다는 것은 분명합니다.


주요 결과

ChatGPT와 같은 생성적 AI는 인간이 창의적 병목 현상을 극복하고 다양한 영감을 흡수하여 폭넓은 창의적 사고를 달성할 수 있도록 도와줍니다.

육체 노동에 비해 ChatGPT는 더 저렴하고 효율적인 작업 실행을 제공할 수 있습니다.

이 테스트에서 창의적인 아이디어 생성에 있어서 ChatGPT의 품질과 효율성은 고도로 지능적이고 잘 훈련된 MBA 학생들보다 전반적으로 앞서 있었습니다. 즉, 생성 AI는 '암기 학습' 비즈니스에 적용될 수 있을 뿐만 아니라 창의적인 작업에도 활용될 수 있습니다.

ChatGPT와 같은 생성적 AI를 사용해 보고 이를 다양한 비즈니스 시나리오의 크리에이티브 어시스턴트로 적용하여 작업 및 크리에이티브 효율성을 향상시킬 수 있습니다.

테스트 연구에 대한 간략한 소개

와튼 스쿨은 제품 디자인 및 혁신 과정을 가르치는 데 20년 이상의 경험을 갖고 있으며, 유사한 제품 창의성 과제를 10개 이상 개최했습니다. 본 시험은 2021학년도 수업에서 선정된 200문항으로 구성되어 있습니다.

이러한 문제에는 제목과 설명문이 포함되어 있으며 전체적인 창작은 대학생 시장을 겨냥하여 신발, 수첩, 펜, 옷 등 다양한 일상용품을 다루고 있으며 소매 가격은 50달러 이하입니다(가격 한도는 시험 문제의 복잡성을 높이기 위해 설정되었습니다).

테스터는 ChatGPT에 200개의 시험 문제를 입력했고, 15분 만에 200개의 창의적인 아이디어가 생성되었습니다(100개는 자연 생성, 100개는 예제 프롬프트 포함).). MBA 학생은 15분 동안 5개의 아이디어만 내놓았는데, 팀의 실행 효율성은 더욱 나빠질 수 있습니다. 왜냐하면 의견 차이도 있을 것이고, 더 많은 시간을 소비하는 열띤 토론의 장면이 있을 수도 있기 때문입니다.

ChatGPT의 창의적 효율성은 매우 높지만, 좋지 않은 아이디어가 많이 섞여 있을 수도 있습니다. 따라서 창의성을 측정하는 가장 좋은 선택은 경제적 가치이다.


연구진은 일부 학생들을 찾아 평가팀을 구성하고 ChatGPT와 MBA 학생들이 생성한 400개의 창의적인 아이디어에 대해 종합적인 평가를 실시했습니다.평균적으로 각 응답자는 40개의 아이디어를 평가했으며, 각 아이디어는 평균 20번 평가되었습니다., 제품 구매 의사를 반영합니다.

테스트 결과

평가자들은 표준 "5개 상자" 응답을 사용하여 구매 의도를 표현하도록 요청받았습니다. 확실히 구매하지 않음, 아마도 구매하지 않을 것임, 아마도 구매하지 않을 것임, 아마도 구매할 것임, 확실히 구매할 예정입니다.

구매 확률 측정을 개발하기 위해 5가지 응답에 0, 0.25, 0.50, 0.75, 1.00의 가중치를 부여했습니다. 이 가중치 부여 방법은 1989년 Jameson 교수와 Bass 교수가 제안한 성숙한 평가 시스템입니다.

테스트 결과는구매 의도를 지표로 사용하면 ChatGPT에서 생성된 아이디어의 평균 품질이 인간이 생성한 아이디어의 평균 품질보다 높습니다.. 인간이 생성한 아이디어의 평균 구매 확률은 40.4%, 원본 ChatGPT의 평균 구매 확률은 46.8%, 예시 프롬프트가 포함된 ChatGPT의 평균 구매 확률은 49.3%입니다.

또한,ChatGPT는 테스트 샘플에서 가장 높은 평가를 받은 창의적인 아이디어를 생성했으며, 최고의 인간 아이디어보다 구매 확률이 11% 더 높았습니다..


전체적으로 ChatGPT와 인간이 생성한 400개의 아이디어 중 하나입니다. 상위 40개 아이디어(상위 10%) 중 35개(87.5%)가 ChatGPT에서 생성되었습니다.즉, 일대일 대결에서는 대부분의 승자가 ChatGPT에서 나옵니다..

와튼스쿨 소개

와튼 스쿨(Wharton School)은 1881년에 설립되었으며 펜실베이니아 대학교 부속 학교입니다. 세계에서 가장 오래되고 규모가 큰 비즈니스 스쿨 중 하나이며, 미국에서 가장 영향력 있는 비즈니스 스쿨 중 하나입니다.

와튼 스쿨(Wharton School)은 금융, 경제, 산업 경영, 혁신, 글로벌 비즈니스 전략 등의 분야에서 교육 및 연구 분야의 우수성으로 유명합니다. 와튼 스쿨 졸업생은 다수의 노벨상 수상자, 성공적인 비즈니스 리더 등 전 세계 각계각층에 퍼져 있습니다.