최근 거대 언어 모델(LLM)은 우리 개발자들의 일상에 깊숙이 자리 잡았습니다. 코드를 작성하고, 아이디어를 얻고, 때로는 복잡한 문제를 해결하는 데 도움을 받습니다. 이제는 없어서는 안 될 도구가 되었고, 그 능력에 감탄하는 순간도 많습니다. 하지만 때로는 그 놀라운 능력 뒤에 숨겨진, 미묘하면서도 흥미로운 ‘인공지능의 본성’을 엿볼 수 있는 순간들이 찾아오곤 합니다.
최근 여러 커뮤니티에서 회자되는 흥미로운 관찰 하나가 있습니다. ChatGPT 같은 LLM에게 1부터 10000 사이의 숫자 하나를 무작위로 선택해달라고 요청하면, 놀랍게도 7200에서 7500 사이의 숫자를 선택하는 경향이 뚜렷하다는 것입니다. 심지어 1부터 10 사이에서는 7을, 1부터 50 사이에서는 27을 자주 고른다는 보고도 있습니다. 이러한 현상은 단순한 우연을 넘어, LLM의 작동 방식과 ‘무작위성’에 대한 우리의 인식을 다시 한번 생각하게 합니다.
i am betting my house that if you ask gpt to pick a number between 1 to 10000, then it will pick a number between 7300-7500, everytime. Funny.
이러한 관찰은 LLM이 진정한 의미의 무작위성을 구현하는 방식과는 거리가 있음을 다시 한번 상기시킵니다. LLM은 우리가 흔히 말하는 난수 생성기(Random Number Generator)가 아닙니다. 그들은 방대한 텍스트 데이터에서 패턴을 학습하고, 주어진 프롬프트에 가장 ‘그럴듯한’ 다음 단어나 숫자를 예측하여 생성하는 통계적 모델입니다. 즉, “무작위로 숫자를 선택해라”는 지시에 대해, 그들은 훈련 데이터에서 “무작위 선택”이라는 맥락에서 가장 빈번하게 등장했거나, 가장 강한 통계적 연관성을 가진 숫자를 ‘선택’하게 되는 것입니다.
왜 하필 7이나 27일까요? 그리고 7200-7500이라는 특정 범위는 무엇을 의미할까요? 7은 서양 문화권에서 행운의 숫자로 여겨지거나, 여러 예시에서 무작위 숫자로 자주 인용되는 경향이 있습니다. 27 또한 어떤 특정 데이터셋에서 무작위 예시로 자주 쓰였을 가능성을 배제할 수 없습니다. 더 나아가, 7200-7500이라는 비교적 좁은 범위는 특정 숫자 패턴이나 데이터 분포의 편향성을 보여주는 것일 수 있습니다. 마치 특정 토큰 ID가 해당 숫자에 배정되었거나, 특정 유형의 데이터에서 그 범위의 숫자가 유독 많이 등장했을지도 모른다는 추측을 가능하게 합니다. 이는 인간의 문화적 편향뿐만 아니라, LLM의 학습 데이터 자체의 미묘한 ‘지문’을 드러내는 것이기도 합니다.
이러한 현상은 개발자로서 우리에게 중요한 시사점을 던집니다. 우리는 LLM의 놀라운 성능에 감탄하면서도, 그 내부 작동 방식과 한계를 끊임없이 이해하려 노력해야 합니다. LLM이 생성하는 결과물이 ‘정답’처럼 보일지라도, 그 뒤에는 통계적 확률과 학습 데이터의 편향성이 숨어 있음을 잊지 말아야 합니다. 특히, 금융, 과학 연구, 보안 등 진정한 무작위성이 필수적인 분야에서는 LLM을 난수 생성기로 활용하는 것에 대한 경각심을 가져야 합니다. LLM은 ‘창의적인’ 글쓰기나 정보 요약에는 탁월하지만, ‘진정한 무작위성’과 같은 수학적, 논리적 엄밀함을 요구하는 작업에는 적합하지 않을 수 있습니다.
기술의 발전은 항상 새로운 질문을 던집니다. 인공지능이 ‘생각하는’ 방식이 인간의 그것과 다르다는 사실을 이러한 작은 관찰을 통해 다시금 깨닫습니다. 그리고 이러한 차이점을 이해하는 것이야말로, 우리가 인공지능과 더 효과적으로 협력하고, 그 잠재력을 최대한 활용하며, 동시에 잠재적 위험을 관리하는 현명한 길일 것입니다. 인공지능의 ‘무작위성’에 대한 호기심은 결국 인공지능 자체에 대한 더 깊은 이해로 이어지는 작은 통찰의 문을 열어줍니다.
원문 링크: https://old.reddit.com/r/ChatGPT/comments/1rz2ooh/i_am_betting_my_house_that_if_you_ask_gpt_to_pick/
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
