요약:
11월 4일, Anthropic의 Claude Code 팀 엔지니어이자 전직 Google 기술 임원인 Addy Osmani는 최근 소셜 플랫폼에 장문의 기사를 게재했습니다. 그는 이 현상을
'인지 항복'
이라고 부릅니다. (인지적 항복).
Osmani는 14년 넘게 Google에서 근무하며 Chrome 개발자 경험 및 Google Cloud AI 관련 비즈니스를 담당해 왔습니다. 그는 현재 Anthropic에서 Claude Code 작업을 하고 있습니다.
Osmani는 자신이 AI 에이전트 워크플로의 열렬한 지지자이며 일상 업무에서 동시에 여러 에이전트를 실행하는 경우가 많다고 말했습니다. 그러나 그는 경계해야 할 변화를 발견했습니다.
AI 모델이 계속해서 개선됨에 따라 출력 결과에 명백한 오류가 점점 줄어들어 인간이 경계를 유지하기가 더 어려워집니다.
과거에는 정보 수집, 분석, 판단 등의 과정을 거쳐야만 답을 얻을 수 있었지만, 이제는 이 과정이 몇 초로 압축될 수 있습니다. AI로 생성된 콘텐츠는 구조가 잘 구성되어 있고, 유창하게 표현되고, 대부분의 경우 정확하기 때문에 사용자가 독립적인 사고와 검증을 건너뛰기가 점점 더 쉬워집니다.
그는 인간의 AI 사용 상태를 세 가지 수준으로 나누었습니다. 첫 번째는
'인지 오프로딩'
입니다. (인지 오프로딩), 작업이 완료를 위해 AI에 넘겨지지만 결과에 대해서는 여전히 책임이 있음을 의미합니다. 두 번째는'판결을 연기'
하는 것입니다. (Deferral) 즉, AI 출력은 더 이상 검증이 필요한 가설로 간주되지 않고, 다음 작업 단계의 기초로 직접 사용됩니다. 마지막은"인지적 항복"
입니다. ,즉, AI의 출력은 점차 사용자 자신의 판단이 되고, 사용자는 더 이상 확인할 필요조차 없다고 생각하게 된다.
그 중 '인지적 항복'이라는 개념은 와튼스쿨 연구진인 스티븐 쇼(Steven Shaw)와 기디언 네이브(Gideon Nave)가 처음 제안했다.
Osmani는
이러한 변화는 갑자기 발생하는 것이 아니라 AI를 지속적으로 사용하는 과정에서 점차적으로 형성되는 경우가 많다고 믿습니다.
.
사용자는 첫 번째 AI 보고서를 주의 깊게 읽고, 두 번째 보고서를 잠깐 살펴보고, 세 번째 보고서의 개요만 확인할 수도 있습니다. 결국 특정 결론에 대해 질문을 받을 때 사용자는 논리를 설명할 수 없다는 것을 알게 될 수 있습니다.그는 이 현상을 '인지부채'와 연관시켰습니다. 소프트웨어 개발 분야에서 AI는 대량의 코드를 생성할 수 있고 모든 테스트를 통과할 수 있지만, 시스템 아키텍처와 구현 로직에 대한 팀원의 이해도는 지속적으로 감소하고 있습니다. 시스템을 수정해야 했던 어느 날이 되어서야 개발자들은 특정 기능이 어떻게 작동하는지 실제로 이해하는 사람이 아무도 없다는 사실을 발견했습니다.
그러나 Osmani는 개발자가 거대한 코드 기반의 모든 세부 사항을 기억할 필요가 없다고 생각합니다. 그는 Claude Code 팀이 필요할 때 특정 코드 모듈에 대한 이해를 다시 확립하기 위해 AI를 사용할 것이라고 지적했습니다. 정말 중요한 것은 항상 모든 것을 아는 것이 아니라, 모르는 것을 알고, 그것을 다시 이해하는 능력을 갖는 것입니다.
'인지적 항복'을 피하는 방법에 대해 Osmani는
AI에 복잡한 질문을 하기 전에 AI에 전적으로 의존하여 답변을 제공하는 대신 인간이 스스로 예비 가정을 세워야 한다고 제안했습니다.
초기 추측이 정확하지 않더라도 AI 결과를 받을 때 사용자가 독립적인 판단을 위한 근거를 유지하는 데 도움이 될 수 있습니다.또한
모델에게 답변에 얼마나 확신이 있는지 묻는 것보다 사용자가 AI의 결론을 뒤집을 수 있는 증거를 적극적으로 찾아야 한다고 제안했습니다.
논쟁의 여지가 있는 문제에 대해서는 서로 다른 모델이 반대 입장의 주장을 제시할 수 있으며, 그러면 인간은 포괄적인 판단을 내릴 수 있습니다.소프트웨어 개발 분야에서 오스마니는 AI 시대의 병목 현상이 코드 작성에서 코드가 올바른지 검증하는 것으로 전환되고 있다고 믿습니다.
현재 AI 에이전트는 테스트가 통과할 때까지 독립적으로 코드를 작성하고, 테스트를 실행하고, 오류 메시지를 읽고, 반복적으로 수정할 수 있습니다. 하지만 문제는 테스트 자체도 AI가 작성할 수 있다는 점이다. 테스트 로직과 코드에 동일한 오류가 있으면 모든 테스트를 통과하더라도 소프트웨어에 문제가 없음을 증명할 수 없습니다.
따라서 그는 개발자가 테스트 통과 여부에만 주의를 기울일 것이 아니라 테스트가 무엇을 증명하고 어떤 위험이 다루어지지 않는지 명확히 해야 한다고 강조했습니다. AI가 전달하는 결과에 대한 승인 기준은 AI가 생성한 겉보기에 합리적인 요약이 아닌 실제 테스트 결과, 작업 로그, 스크린샷 등 검증 가능한 증거여야 합니다.
Osmani는 또한 개발자가 작업 실행 중에 자율적으로 내린 결정, 채택한 가정 및 무시한 조건을 에이전트에 명확하게 나열하도록 요구해야 한다고 제안했습니다. 이러한 내용은 일반적으로 최종 작업 요약에 나타나지 않기 때문입니다.
AI가 점점 더 많은 작업을 동시에 수행할 수 있게 되면서 또 다른 문제가 발생하기 시작합니다. Osmani는 이를
'조정세'
라고 부릅니다. (Orchestration Tax), 즉 AI가 결과를 생성하는 속도와 인간이 이를 신중하게 검토하고 기꺼이 책임을 지려는 속도 사이의 격차입니다.AI가 생성한 작업 결과가 계속해서 축적되고 인간이 더 이상 이를 검토할 시간이 충분하지 않은 경우 에이전트 수를 계속 늘려도 문제가 해결되지 않습니다. 그는 이 경우 팀이 자동 검증 메커니즘을 개선하거나 작업 생성 속도를 적절하게 줄여야 한다고 믿습니다.
Osmani는 또한
AI의 높은 자동화 수준으로 인해 인간이 원래 기술을 연습하는 것을 점차 포기하게 될 수도 있다고 경고했습니다.
그는 개발자들이 매주 AI를 사용하지 않고 일부 코드를 작성하고, 매달 연습을 중단한 기술을 다시 살펴보고, 어떤 능력이 여전히 유지할 가치가 있는지 판단할 것을 권장합니다.또한 그는 내부 엔지니어와 연구원의 AI 사용에 대한 Anthropic의 연구를 인용하면서 '감독 역설'이 있음을 지적했습니다. Claude를 감독하려면 프로그래밍 능력이 필요하지만 AI를 과도하게 사용하면 이러한 능력이 저하될 수 있습니다.
오스마니는 이러한 견해가 AI 사용을 줄여야 한다는 뜻은 아니라고 강조했습니다. 오류 비용이 낮고 완전히 AI에 넘겨지는 작업에서는 문제가 없지만 투자, 직업 선택, 제품 안전 또는 다른 사람에게 영향을 미치는 주요 결정에 관해서는 여전히 인간이 핵심 판단권을 보유해야 합니다.
그는 미래의 AI 모델이 인간보다 오류를 더 잘 찾아낼 수 있지만 이것이 인간의 책임을 없애지는 못한다고 생각합니다.
어떤 제품을 개발할지, 왜 개발할 가치가 있는지, 누구에게 영향을 미칠지, 어떤 대가를 지불할 것인지 결정하는 데에는 여전히 인간의 선택이 필요합니다.
그는 글 말미에서 다음과 같이 결론을 내렸습니다. "
작업과 대부분의 검토 업무를 AI에게 맡길 수는 있지만 책임까지 맡길 수는 없습니다.
”
댓글