2008년 겨울, 서울의 한 작은 카페에서 열린 해커톤 행사에 참가했을 때였다. 당시만 해도 ‘클라우드’라는 단어는 생소했고, 스마트폰은 막 보급되기 시작한 참이었다. 한 팀이 GPS 기반의 위치 추적 서비스를 발표했는데, 발표자가 “이 기술로 실종 아동을 찾을 수 있습니다”라고 자신 있게 말했다. 그 순간 누군가가 물었다. “그런데 그 데이터를 누가, 어떻게 관리하나요? 잘못 쓰이면 어떻게 되죠?” 발표자는 머뭇거리다 “기술은 중립적이에요. 쓰기 나름입니다”라고 대답했다. 그 대답은 당시에는 그럴듯하게 들렸다. 하지만 15년이 지난 지금, 그 질문이 다시 떠오른다.
기술이 인간의 삶을 편리하게 만드는 동시에, 그 기술이 만들어내는 시스템이 어떻게 인간성을 배제하는지 우리는 점점 더 자주 목격하고 있다. 캐나다 국적의 타니아 워너와 그녀의 자폐 스펙트럼 장애를 가진 일곱 살 딸 아일라의 이야기는 그런 시스템의 빈틈을 여실히 보여준다. 그들은 미국 이민세관집행국(ICE)에 의해 텍사스의 한 구금 시설에 억류되었고, ‘자진 출국’을 강요받았다. 그들의 죄목은 무엇이었을까? 그저 미국인 남편을 만나러 가던 중이었다. 시스템은 그들의 상황을 고려하지 않았다. 자폐 아동의 특수성, 가족의 결합, 심지어 그들이 캐나다 시민이라는 사실조차도. 그저 ‘불법 입국’이라는 딱지만 붙여졌다.
소프트웨어 개발자로서 시스템을 설계하고 구축하는 일에 오랜 시간을 보낸 사람으로서, 이 사건은 기술의 한계를 다시금 생각하게 한다. 우리가 만드는 알고리즘, 데이터베이스, 자동화 시스템은 얼마나 많은 인간적 맥락을 놓치고 있을까? 20년 전만 해도 코드는 그저 명령어의 집합이었다. 하지만 이제는 그 코드가 사회의 규칙을 만들고, 사람들의 운명을 결정하기도 한다. ICE의 시스템은 아마도 ‘입국 기록 없음 → 불법 입국 → 구금’이라는 단순한 로직으로 작동했을 것이다. 하지만 그 로직은 아일라의 자폐 증상, 타니아의 캐나다 시민권, 남편과의 관계 같은 복잡한 인간적 상황을 고려하지 않는다. 기술은 빠르고 정확하지만, 그 정확성이란 결국 인간이 설계한 규칙의 정확성일 뿐이다.
이 문제는 비단 이민 시스템에만 국한되지 않는다. 의료 분야에서 인공지능 진단 시스템이 특정 인종이나 성별의 데이터를 제대로 반영하지 못해 오진을 내리는 경우가 있다. 금융 분야에서는 신용 평가 알고리즘이 저소득층에게 불리하게 작동하기도 한다. 심지어 채용 시스템에서도 특정 키워드를 가진 이력서를 걸러내는 AI가 여성이나 소수자 지원자를 차별한다는 연구 결과가 있다. 기술이 인간의 편견을 반영하고, 때로는 그 편견을 더욱 강화한다는 사실은 이제 더 이상 무시할 수 없는 현실이다.
기술은 중립적이지 않다. 기술은 그것을 만든 사람의 가치관, 편견, 무지를 고스란히 담고 있다.
문제는 이러한 시스템이 점점 더 복잡해지고, 그 결정 과정을 인간이 이해하기 어려워진다는 점이다. 예전에는 코드를 열어보면 어떤 로직이 작동하는지 볼 수 있었다. 하지만 요즘은 머신러닝 모델이 스스로 규칙을 학습하고, 그 결정 과정을 설명하기조차 어렵다. ‘블랙박스’라는 단어는 이제 단순히 기술적 한계를 넘어 사회적 문제를 상징한다. ICE의 시스템이 왜 타니아와 아일라를 구금했는지 정확히 알 수 있을까? 그 결정에 어떤 데이터가 사용되었고, 어떤 가중치가 부여되었는지 우리는 알 길이 없다. 그저 시스템이 ‘그렇게 결정했다’는 사실만 알 뿐이다.
개발자로서 이런 문제를 마주할 때면 늘 딜레마에 빠진다. 기술의 발전은 멈추지 않는다. 더 빠르고, 더 정확하고, 더 효율적인 시스템을 만들라는 요구는 끊임없이 이어진다. 하지만 그 과정에서 우리는 무엇을 잃고 있을까? 타니아와 아일라의 이야기는 기술이 인간의 삶을 더 나은 방향으로 이끌어간다는 믿음에 균열을 내고 있다. 시스템이 인간의 고통을 고려하지 않는다면, 그 기술은 과연 발전이라고 할 수 있을까?
물론 기술이 모든 문제를 해결할 수는 없다. 하지만 적어도 그 기술이 인간성을 배제하지 않도록 노력할 수는 있다. 개발자들은 이제 단순히 코드를 짜는 것 이상의 책임을 져야 한다. 시스템이 어떤 사회적 영향을 미칠지 고민하고, 가능한 한 많은 맥락을 고려해야 한다. 데이터가 편향되지 않도록 주의하고, 결정 과정이 투명하게 공개되어야 한다. 그리고 무엇보다, 시스템이 인간의 삶을 결정하는 순간에도 그 결정에 이의를 제기할 수 있는 통로가 남아 있어야 한다.
타니아는 현재 구금 상태에서 “모든 이민자는 몸을 낮추라”고 충고했다. 이 말은 단순히 이민자들에게만 해당되는 이야기가 아니다. 기술이 지배하는 세상에서 우리는 모두 ‘경계 위의 존재’가 되었다. 시스템의 규칙을 따르면서도, 그 규칙이 인간의 삶을 얼마나 왜곡하는지 끊임없이 질문해야 한다. 코드는 중립적일지 몰라도, 그 코드를 사용하는 인간은 그렇지 않다. 그리고 그 인간은 바로 우리다.
이 사건에 대한 자세한 내용은 여기에서 확인할 수 있다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
