어느 작은 마을에 우물이 하나 있었다. 마을 사람들은 매일 물을 길어와야 했는데, 우물에 물이 얼마나 남았는지를 측정하는 방법이 문제였다. 누군가 “물을 길어갈 때마다 돌멩이를 던져 넣으면 물의 양을 정확히 알 수 있다”고 제안했다. 처음에는 효과가 있었다. 돌멩이 수가 늘어나면 우물에 물이 줄어든다는 뜻이었으니까. 하지만 곧 마을 사람들이 돌멩이만 던져 넣고 물을 길어가지 않는 일이 벌어졌다. 돌멩이 숫자가 우물의 가치를 대신하게 된 것이다.
아마존 직원들이 AI 도구를 무의미한 작업에 사용해 사용량 점수를 부풀렸다는 최근 보도는 이 우물 이야기와 닮았다. 기술 기업에서 지표는 곧 진실이 된다. 특히 인공지능처럼 복잡하고 모호한 기술을 도입할 때, 그 효과를 측정하는 일은 더욱 까다롭다. 사용량 통계, 활성 사용자 수, 처리된 데이터 양 같은 숫자들은 조직의 의사결정을 좌우하는 절대적인 기준이 된다. 하지만 그 숫자들이 실제 가치를 반영하는지, 아니면 그저 조직의 자기만족을 위한 허울인지는 별개의 문제다.
기술 도입의 역사를 돌아보면 이런 패턴은 반복된다. 2000년대 초반 CRM 시스템이 기업에 보급될 때, 많은 조직이 “고객 관리”라는 미명 아래 직원들에게 데이터를 무작정 입력하게 했다. 결과적으로 시스템은 고객과의 상호작용을 기록하는 창고가 되었고, 실제 고객 관계 개선과는 거리가 멀어졌다. 2010년대 클라우드 컴퓨팅이 확산될 때도 비슷한 일이 벌어졌다. 기업들은 “클라우드 마이그레이션”을 외치며 서버를 옮겼지만, 정작 애플리케이션의 구조 개선이나 운영 효율화에는 소홀했다. 숫자로 표현되는 “마이그레이션 완료율”이 목표가 된 것이다.
AI 도구는 이런 문제를 더욱 심화시킨다. 전통적인 소프트웨어와 달리 AI의 가치는 그 출력물의 질과 맥락에 따라 달라지기 때문이다. 예를 들어, 코드 리뷰를 돕는 AI 도구가 있다고 하자. 이 도구가 제시하는 제안이 얼마나 유용한지는 단순히 “제안 횟수”나 “적용률” 같은 지표로 평가하기 어렵다. 개발자가 그 제안을 수용한 이유가 코드의 품질을 높이기 위해서인지, 아니면 상사가 요구하는 “AI 활용률”을 맞추기 위해서인지 구분할 수 없기 때문이다. 숫자는 거짓말을 하지 않지만, 숫자가 무엇을 측정하는지는 종종 거짓말을 한다.
기술이 조직을 변화시키는 것이 아니라, 조직이 기술을 자기 모습으로 변형시킨다.
이 문제는 기술 자체의 한계라기보다는 조직 문화의 문제다. 특히 성과주의가 만연한 기업 환경에서는 결과보다 지표가 우선시되기 쉽다. AI 도입이 “혁신”의 상징으로 여겨지는 상황에서, 그 도구를 실제로 어떻게 활용하는지는 부차적인 문제가 된다. 중요한 것은 “AI를 사용한다”는 사실 자체이기 때문이다. 이런 환경에서 직원들은 자연스럽게 시스템을 게임화한다. 점수를 올리기 위한 행동이 실제 업무 개선으로 이어지지 않더라도, 조직은 그것을 문제로 인식하지 않는다. 오히려 높은 점수가 곧 성공의 증거라고 믿기 때문이다.
더 큰 문제는 이런 자기기만이 기술 발전의 방향까지 왜곡한다는 점이다. AI 도구 개발자들은 사용량 지표를 기반으로 제품을 개선한다. 그런데 그 지표가 실제 사용 가치를 반영하지 않는다면, 개발자들은 엉뚱한 방향으로 달려갈 수밖에 없다. 예를 들어, 코드 생성 AI가 “제안 횟수”를 최대화하도록 설계된다면, 개발자에게 유용한 제안보다는 빈번한 제안을 내놓는 쪽으로 진화할 것이다. 결국 사용자들은 그 도구를 신뢰하지 않게 되고, AI는 조직 내에서 점점 더 형식적인 존재가 되어간다.
이 문제를 해결하려면 조직이 지표의 노예가 되지 않도록 경계해야 한다. 기술 도입의 목적이 무엇인지 끊임없이 질문해야 한다. AI 도구가 개발자의 생산성을 높이는 것이 목표라면, 그 효과를 측정하는 지표도 생산성 향상과 직접 연결되어야 한다. 예를 들어, 코드 리뷰 시간 단축, 버그 발견률 증가, 개발자의 만족도 같은 질적인 지표를 함께 고려해야 한다. 또한, 지표가 조직의 행동을 왜곡하지 않도록 주기적으로 검토하고 조정해야 한다. 숫자는 도구일 뿐, 목적이 되어서는 안 된다.
기술은 언제나 인간의 의도를 반영한다. AI가 조직의 생산성을 높이는 도구가 될지, 아니면 또 하나의 관리주의 허울이 될지는 결국 조직이 어떤 가치를 추구하느냐에 달려 있다. 아마존의 사례는 기술 도입이 가져올 수 있는 자기기만의 위험을 보여준다. 숫자가 사람을 지배하지 않도록, 우리는 항상 그 숫자가 무엇을 의미하는지 질문해야 한다. 그렇지 않으면 우리는 결국 돌멩이만 던져 넣는 우물의 노예가 될 것이다.
이 기사의 원문은 파이낸셜타임스에서 확인할 수 있다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
