멕시코의 한 개발자(단 3명으로 구성된 팀)가 Reddit에 자신의 엄청난 청구서에 대한 도움을 요청하는 글을 올렸습니다. 이 소규모 팀은 Google Cloud에서 제공하는 Google Gemini 액세스를 사용했지만 운영 오류로 인해 API 키가 실수로 온라인에 유출되었습니다.
평소 이 개발자가 지불해야 하는 월별 구글 제미니 비용은 미화 180달러에 불과하지만, 실수로 키를 노출한 후 빠르게 다른 사람이 키를 캡처해 사용하게 되면서 단 48시간 만에 미화 82,000달러라는 엄청난 금액을 청구하게 되었습니다.
이제 문제는 이 엄청난 금액의 법안을 어떻게 처리할 것인가 하는 것입니다. 이 소규모 팀은 비용을 지불할 수 없습니다. 그러나 비용을 지불하지 않을 경우 Google Gemini를 계속 사용할 수 없을 뿐만 아니라 잠재적인 법적 문제에 직면할 수도 있습니다.
Google은 다음 수수료를 면제할 계획이 없습니다.
이 소규모 팀은 수수료를 취소하거나 인하하기 위해 Google에 연락했지만 Google 지원 엔지니어는 Google Cloud의 공동 책임 모델을 언급했습니다. 간단히 말해서 이는 Google의 책임이 아니므로 고객은 청구서를 전액 지불해야 합니다.
일반적인 관점에서 보면 구글의 주장에는 아무런 문제가 없습니다. 결국 키 유출로 인한 엄청난 비용의 출처는 개발자 자신이고, 구글은 구글 클라우드를 통해 리소스 서비스를 제공하므로 당연히 비용이 발생하게 된다.
그러나 문제는 Google의 할당량 메커니즘에 있습니다.
OpenAI API와 같은 대부분의 플랫폼을 사용하는 경우 플랫폼이 선불 메커니즘을 사용한다는 것을 알 수 있습니다. 즉, 사용자는 사용하기 전에 재충전해야 합니다. 잔액이 소진되면 즉시 서비스가 중단됩니다.
동시에 플랫폼은 예상치 못한 특정 상황을 방지하기 위해 소비 제한 기능도 제공합니다. 예를 들어 한도를 월 30달러로 설정한 경우, 이번 달에 30달러 이상 지출하면 계정에 잔액이 남아 있어도 서비스가 중단됩니다.
하지만 Google Cloud에는 이러한 메커니즘이 없습니다. 특히 Google Cloud Gemini는 할당량 한도를 제공하지 않습니다. Google은 할당량 소비 제한이 아닌 API 요청 호출 속도 제한만 제공합니다.
참고: 하지만 Google Cloud Platform에는 예산 경고 기능이 있습니다. 예산 금액을 미리 설정하고, 경고가 발생하는 임계값을 설정해야 합니다. 개발자가 예산 경고 기능을 받았는지(또는 전혀 설정하지 않았는지)는 확실하지 않습니다.
개발자가 불평하는 이유는 Google이 이상 현상을 감지하지 못했다는 것입니다. 즉, 보통 월 180달러 청구서가 갑자기 24시간 이내에 엄청난 양의 요청으로 나타났습니다. Google은 사용자에게 확인을 알리기 전에 이상 징후를 감지하고 차단할 수 있어야 합니다.
청구서를 축소하거나 축소할 수 있습니까?
Google의 관점에서 보면 책임 공유 모델에는 아무런 문제가 없습니다. 개발자의 관점에서 볼 때 Google Cloud의 설계 결함과 보안 메커니즘은 청구서가 급증하는 이유이기도 합니다.
이제 개발자가 Google과 어떻게 협상하느냐에 따라 달라집니다. 어차피 구글이 면제를 포기할 생각이 없다면 할 수 있는 게 없지만, 어쩌면 구글도 이번 사건을 통해 자체 메커니즘을 개선할 수도 있을 것이다. 결국 Google Cloud API에는 Gemini보다 훨씬 더 많은 제품이 포함됩니다.
또한, 다른 개발자들에게도 AI 모델이나 기타 클라우드 제품을 호출할 경우 플랫폼에서 할당량 제한을 제공하는지 꼭 확인하라는 점을 상기시키고 싶습니다. 그렇지 않은 경우에는 열쇠가 노출되어 엄청난 요금이 부과될 수 있는 실수를 피하기 위해 사용하지 않는 것이 가장 좋습니다.