초등학교 때였을까, 지도책을 펼치면 언제나 먼저 눈에 들어오는 것은 산의 등고선이었다. 촘촘한 선들이 겹겹이 쌓여 높낮이를 표현하는 그 방식은, 마치 자연이 수학의 언어로 말을 거는 것만 같았다. 등고선 하나하나는 특정 높이의 점들을 연결한 것이지만, 그 선들 전체가 모여야 비로소 산의 형상이 드러난다. 어느 날 문득 깨달았는데, 그 등고선들이 바로 수학에서 말하는 레벨 세트(level set)이고, 그 산의 가장 가파른 경사는 등고선에 수직인 방향을 가리킨다는 사실이었다. 그 방향이 바로 그래디언트(gradient)다.
기울기, 경사, 변화율. 이 단어들이 수학 교과서에서 처음 등장했을 때는 그저 공식과 계산 문제로만 느껴졌다. 하지만 시간이 지나면서 그 개념들이 현실의 문제를 해결하는 강력한 도구라는 것을 알게 되었다. 특히 머신러닝에서 그래디언트는 모델을 학습시키는 핵심 메커니즘으로 자리 잡았다. 손실 함수의 그래디언트를 계산해 가중치를 조정하는 과정은, 마치 등산가가 산의 경사를 읽으며 가장 빠른 등반로를 찾는 것과 닮았다. 그런데 왜 그래디언트는 편도함수(partial derivative)들의 목록으로 정의되는 걸까? 이 질문에 대한 답을 찾다 보면, 수학이 현실을 어떻게 추상화하는지 그 본질에 한 걸음 더 다가갈 수 있다.
함수가 하나의 변수에만 의존한다면, 그래디언트는 단순히 그 변수에 대한 도함수와 같다. 하지만 현실의 문제는 대부분 여러 변수가 얽혀 있다. 온도, 압력, 부피처럼 상호작용하는 변수들이 만들어내는 복잡한 시스템을 다루려면, 다변수 함수의 미분이 필수적이다. 이때 편도함수는 함수가 특정 변수에 대해 어떻게 변하는지를 독립적으로 보여준다. 예를 들어, 온도와 압력이 동시에 변하는 기체에서 내부 에너지를 분석할 때, 온도만 변화시키고 압력은 일정하게 유지한 상태에서 에너지의 변화를 관찰하는 것이 편도함수다. 이처럼 편도함수는 다변수 시스템을 부분적으로 분해해 이해하는 도구다.
그렇다면 그래디언트는 왜 이 편도함수들을 모아놓은 벡터가 되어야 할까? 그 이유는 그래디언트가 함수의 가장 가파른 증가 방향을 가리켜야 하기 때문이다. 단일 변수의 경우 도함수가 그 방향을 결정하지만, 다변수 함수에서는 모든 변수의 변화율이 함께 고려되어야 한다. 편도함수들의 벡터로서 그래디언트를 정의하면, 이 벡터가 함수의 국소적인 변화율을 가장 정확하게 표현할 수 있다. 마치 등고선 지도의 경사 방향이 모든 방향의 높낮이 변화를 종합적으로 반영하듯, 그래디언트 벡터는 함수의 전체적인 변화 경향을 담아낸다.
이러한 정의는 수학적으로도 자연스럽다. 그래디언트의 방향은 함수의 레벨 세트에 수직이며, 그 크기는 변화율의 최대값을 나타낸다. 이는 다변수 함수의 테일러 전개에서 1차 항이 그래디언트와 변위 벡터의 내적으로 표현된다는 사실에서도 확인할 수 있다. 즉, 그래디언트는 함수의 선형 근사를 가능하게 하는 핵심 요소다. 머신러닝에서 손실 함수를 최소화하기 위해 그래디언트 디센트(gradient descent)를 사용하는 이유도 여기에 있다. 그래디언트는 함수의 국소적인 지형을 가장 정확하게 알려주는 나침반과도 같다.
그런데 그래디언트가 편도함수들의 목록이라는 사실은 때로 오해를 낳기도 한다. 일부는 그래디언트를 단순히 각 변수에 대한 독립적인 변화율의 모음으로 여기기도 한다. 하지만 그래디언트는 그 이상의 의미를 가진다. 편도함수들이 모여 하나의 벡터를 이루는 순간, 그 벡터는 함수의 전체적인 변화 방향을 결정한다. 이는 마치 개별 음표들이 모여 하나의 멜로디를 만들어내는 것과 비슷하다. 개별 음표의 높낮이만으로는 음악의 흐름을 알 수 없지만, 그 음표들이 순서대로 연주되면 비로소 음악이 된다.
그래디언트의 이러한 특성은 수학이 현실을 모델링하는 방식과도 연결된다. 현실의 시스템은 대부분 복잡하게 얽힌 변수들로 이루어져 있지만, 우리는 그 시스템을 이해하기 위해 부분적으로 분해하고 분석한다. 편도함수는 그 분해의 도구이며, 그래디언트는 그 분석 결과를 종합해 전체적인 변화를 예측하는 수단이다. 이 과정에서 수학은 현실의 복잡성을 단순화하지 않는다. 오히려 그 복잡성을 있는 그대로 받아들이면서도, 그것을 다루기 위한 효율적인 언어를 제공한다.
그래디언트가 편도함수들의 목록으로 정의되는 이유는 결국 수학의 경제성에 있다. 다변수 함수의 변화를 표현하기 위해 모든 가능한 방향의 도함수를 계산할 필요는 없다. 편도함수들만으로도 함수의 국소적인 변화를 완벽하게 포착할 수 있기 때문이다. 이는 마치 지도 제작자가 모든 지형의 세부 사항을 기록하지 않아도 등고선 몇 개만으로 산의 형상을 정확하게 표현할 수 있는 것과 같다. 수학은 언제나 최소한의 표현으로 최대의 정보를 담아내는 방법을 찾는다.
이러한 관점에서 그래디언트는 단순한 계산 도구를 넘어, 수학이 현실을 이해하는 방식의 한 단면을 보여준다. 편도함수들의 벡터로서 그래디언트를 정의하는 것은, 부분과 전체의 관계를 명확히 하고, 복잡한 시스템을 체계적으로 분석할 수 있게 해준다. 그리고 그 과정에서 우리는 수학의 아름다움을 발견한다. 수학은 현실의 혼돈을 정리하는 언어이며, 그래디언트는 그 언어가 현실을 얼마나 정교하게 묘사할 수 있는지를 보여주는 한 예시일 뿐이다.
이 글은 다변수 미적분학의 기본 개념을 다루면서도, 그 수학적 정의가 현실의 문제를 해결하는 데 어떻게 활용되는지를 탐구한다. 그래디언트가 왜 편도함수들의 목록으로 정의되는지 이해하는 것은, 단순한 공식 암기를 넘어 수학의 본질을 파악하는 첫걸음이 될 수 있다. (원문 링크)
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
