마이크로소프트 CEO 사티아 나델라는 회사 코드의 25%가 AI로 작성된다고 말했다. 앤트로픽 CEO 다리오 아모데이는 6개월 안에 모든 코드의 90%가 AI로 작성될 거라고 예측했다. Stack Overflow 설문조사에 따르면 개발자의 65%가 이미 AI 코딩 도구를 주 1회 이상 사용한다.
숫자만 보면 AI 코딩 혁명은 이미 일어난 것 같다. 그런데 MIT Technology Review가 30명 이상의 개발자, 임원, 연구자를 인터뷰한 결과는 좀 다르다. 초기의 열광이 식고 있다는 것이다.
가장 충격적인 연구 결과는 비영리 연구 기관 METR에서 나왔다. 경험 많은 개발자들에게 AI 도구가 얼마나 빨라지게 해주는지 물었더니 20% 정도라고 답했다. 그런데 실제로 측정해보니 19% 더 느려지고 있었다. 체감과 현실 사이에 거의 40% 포인트 차이가 난다.
소프트웨어 컨설턴시 Substantial의 수석 개발자 Mike Judge도 비슷한 경험을 했다. AI 도구를 열심히 쓰던 그는 어느 날 자신의 생산성을 실제로 측정해보기로 했다. 6주 동안 작업마다 예상 시간을 적고, 동전을 던져서 AI를 쓸지 말지 결정하고, 시간을 쟀다. 결과는 충격적이었다. AI를 쓸 때 중앙값으로 21% 더 느렸다.
그는 한 발 더 나아갔다. AI 코딩 도구가 정말 생산성을 높인다면, 새로운 앱이나 웹사이트, 게임, GitHub 프로젝트가 폭발적으로 늘어야 한다. 수백 달러를 들여 공개 데이터를 분석했는데, 어디에서도 급격한 성장을 찾을 수 없었다. 그래프가 다 평평했다.
잭팟은 기억하고 실패는 잊는다
개발자들이 AI 도구의 장점을 과대평가하는 이유가 있다. 슬롯머신처럼 가끔 큰 성공을 거두면 그 기억이 강하게 남는다. 두 시간 동안 토큰을 넣으며 허탕 친 기억은 희미해진다.
Judge는 한 번도 써본 적 없는 마이크로소프트 클라우드 서비스 Azure Functions를 AI 도움으로 설정하려 했다. 2시간이면 될 거라 생각했는데, 9시간 후에 포기했다. AI가 계속 엉뚱한 방향으로 이끌었고, 그는 그 분야를 몰라서 AI가 말도 안 되는 소리를 하는지 판단할 수 없었다.
LLM의 근본적인 한계도 있다. 컨텍스트 윈도우라는 작업 기억의 한계 때문에 큰 코드베이스를 파악하기 어렵고, 긴 작업에서는 하던 일을 잊어버린다. 열두 가지를 시키면 열한 가지만 하고 마지막 하나를 까먹는 식이다.
더 큰 문제는 AI가 만든 코드가 당장은 작동해도 전체 소프트웨어와 맞지 않을 수 있다는 것이다. 소프트웨어는 수백 개의 모듈이 서로 연결되어 있다. AI는 프로젝트의 기존 관습을 이해하지 못하고 자기만의 방식으로 문제를 푼다. 시간이 지나면 코드베이스가 뒤엉켜서 유지보수가 어려워진다.
기술 부채가 쌓인다
개발자 분석 회사 GitClear의 데이터를 보면, 2022년 이후 복사-붙여넣기 코드가 크게 늘었다. AI 제안을 그대로 쓰는 경우가 많아졌다는 뜻이다. 반면 코드를 정리하기 위해 옮기는 작업은 급격히 줄었다.
코드 품질 검사 도구를 만드는 Sonar의 CEO Tariq Shaukat는 더 우려스러운 점을 지적한다. 모델이 발전하면서 AI가 만드는 코드가 더 장황하고 복잡해지고 있다. 명백한 버그나 보안 취약점은 줄었지만, 찾기 어려운 결함이 90% 이상을 차지한다. 이런 결함들이 유지보수 문제와 기술 부채로 이어진다.
코드가 복잡해지면 보안에도 영향을 미친다. 조지타운대학교 보안 연구원 Jessica Ji는 업데이트와 수정이 어려워질수록 코드베이스가 시간이 지나면서 취약해질 가능성이 높다고 말한다.
그럼에도 돌아갈 수는 없다. GitHub COO Kyle Daigle의 말처럼, 키보드로 모든 코드를 한 줄씩 치던 시대는 빠르게 지나가고 있다. AI 코딩 도구는 계속 발전할 것이고, 개발자들은 그 한계를 인식하면서 활용법을 찾아야 한다. 다만 마케팅 문구와 현실 사이의 간극은 알고 있어야 한다.
