컴퓨터 그래픽스 분야에서 SIGGRAPH 논문은 늘 일종의 지표 같은 것이었다. 학계와 산업계의 경계에서 새로운 아이디어를 검증하고, 때로는 그 아이디어를 실용적인 기술로 전환하는 출발점이 되곤 했다. 그런데 최근 몇 년 사이 그 경계가 점점 흐려지고 있다. 특히 생성 모델의 등장 이후로는 더 그렇다. 예전 같으면 복잡한 수학적 모델링과 수작업으로만 가능했던 지형 생성이나 텍스처 합성이 이제는 몇 줄의 코드와 학습된 가중치만으로도 가능해졌기 때문이다. 이번에 발표된 InfiniteDiffusion과 Terrain Diffusion은 그런 흐름의 연장선에 있지만, 동시에 그 한계를 살짝 비틀어보는 시도처럼 느껴진다.
이 논문이 흥미로운 점은 두 가지다. 첫째, 무한히 확장 가능한 지형을 생성한다는 아이디어 자체다. 기존의 프로시저럴 지형 생성 기법은 보통 노이즈 함수나 프랙탈 알고리즘에 의존했는데, 이런 방식은 반복적인 패턴이나 인위적인 규칙성이 드러나기 마련이었다. 반면 생성 모델은 데이터의 분포를 학습해 그 안에서 새로운 샘플을 만들어내는 방식으로, 좀 더 자연스럽고 다양성을 갖춘 결과를 보여줄 수 있다. 그런데 문제는 생성 모델이 본질적으로 유한한 크기의 출력을 내놓는다는 점이었다. 이 논문은 그것을 극복하기 위해, 생성된 지형의 일부를 다시 입력으로 사용해 점진적으로 확장하는 재귀적 방식을 제안한다. 마치 한 장의 그림을 그린 뒤, 그 가장자리를 조금씩 덧그려나가는 것과 비슷하다.
둘째, 이 기술이 Minecraft 같은 게임 환경에서 실제로 동작하는 모습을 보여준다는 점이다. 게임 개발자들에게 지형 생성은 늘 골칫거리였다. 플레이어의 이동에 따라 실시간으로 지형을 생성해야 하는데, 성능과 품질 사이에서 끊임없이 타협해야 했기 때문이다. 이 논문은 그런 문제를 해결할 수 있는 실마리를 제공한다. 물론 아직은 초기 단계다. 생성된 지형이 완벽하게 일관성을 유지하지는 못하며, 때로는 어색한 접합부가 드러나기도 한다. 하지만 그런 불완전함이 오히려 매력적으로 느껴지는 것은, 이 기술이 아직 완성되지 않은 가능성을 품고 있기 때문일 것이다.
생성 모델의 발전은 늘 양날의 검이었다. 한편으로는 창의적인 표현의 폭을 넓혀주지만, 다른 한편으로는 그 결과물이 얼마나 “진짜”인지에 대한 의문을 남긴다. 이 논문에서도 그런 딜레마를 피할 수는 없다. 예를 들어, 생성된 지형이 자연스러운 것처럼 보이지만, 실제로는 학습 데이터의 편향을 그대로 반영할 위험이 있다. 만약 학습 데이터가 특정 지역의 지형에 편중되어 있다면, 생성된 결과물도 그 지역의 특징을 과도하게 드러낼 것이다. 또한, 무한히 확장된다고 해서 정말로 “무한한” 다양성을 보장하는 것은 아니다. 생성 모델의 특성상, 결국은 학습된 분포 안에서만 움직일 수밖에 없기 때문이다.
기술은 언제나 도구에 불과하다. 중요한 것은 그 도구가 어떤 목적으로, 어떻게 사용되는가다.
이 논문을 보면서 문득 예전 생각이 났다. 20년 전만 해도 지형 생성은 수학자와 그래픽스 전문가들의 전유물이었다. 그들은 노이즈 함수와 프랙탈 이론을 연구하며 자연의 패턴을 모사하려고 애썼다. 그런데 이제는 그 작업의 상당 부분이 데이터와 알고리즘에 맡겨지고 있다. 물론 그렇다고 해서 인간의 창의성이 사라지는 것은 아니다. 오히려 새로운 도구가 주어졌을 때, 그 도구를 어떻게 활용할 것인지가 더 중요해졌을 뿐이다. 이 논문이 보여주는 Minecraft 데모는 그런 가능성의 한 단면이다. 게임 개발자들은 이제 더 이상 지형을 일일이 설계하지 않아도 될지도 모른다. 대신, 생성 모델이 만들어낸 결과물을 다듬고 조정하는 데 더 많은 시간을 쏟을 수 있게 될 것이다.
하지만 기술의 발전이 항상 긍정적인 결과만 가져오는 것은 아니다. 생성 모델이 보편화되면서, 그 결과물이 진짜와 가짜를 구분하기 어려운 시대가 오고 있다. 이미지 생성 모델에서 시작된 이 문제는 이제 지형 생성으로까지 확장되고 있다. 만약 누군가 이 기술을 악용해 가짜 지형을 생성하고, 그것을 실제처럼 퍼뜨린다면 어떻게 될까? 그런 가능성은 아직 먼 이야기처럼 들릴지 모르지만, 기술의 발전 속도를 고려하면 그리 먼 미래의 일이 아닐 수도 있다.
결국, 이 논문이 던지는 질문은 기술적인 것 이상이다. 우리는 생성 모델이 만들어내는 결과물을 어떻게 받아들여야 하는가? 그것이 자연스러운 것처럼 보일지라도, 그 안에 담긴 편향과 한계를 어떻게 인식하고 보완할 것인가? 그리고 그런 기술이 가져올 사회적 영향에 대해서는 어떻게 대비해야 하는가? 이런 질문들에 대한 답은 아직 명확하지 않다. 하지만 적어도 한 가지는 분명하다. 기술은 언제나 그 자체로 중립적이지 않으며, 그것을 사용하는 사람들의 의도와 책임에 따라 그 가치가 결정된다는 것이다.
이 논문이 SIGGRAPH에서 독립적으로 발표되었다는 점도 주목할 만하다. 대형 연구소나 기업의 지원을 받지 않고도 이런 수준의 연구가 가능하다는 것은, 기술의 민주화가 그만큼 진전되었음을 보여준다. 물론 아직은 학계와 산업계의 협력이 필수적이지만, 개인의 아이디어가 큰 영향력을 발휘할 수 있는 시대가 온 것은 분명하다. 어쩌면 앞으로는 더 많은 사람들이 이런 방식으로 자신의 아이디어를 세상에 내놓을 수 있을지도 모른다.
이 논문의 원문과 데모는 여기에서 확인할 수 있다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
