카프카가 데이터 인프라의 심장이라면, 그 위에 쌓이는 데이터는 피와도 같다. 실시간으로 흐르는 이 피가 결국 어딘가에 고여 호수를 이루듯, 카프카의 스트림은 언젠가 정착해야 하는 숙명을 안고 있다. 그런데 이 호수가 단순히 저장소에 불과할까? 아니면 더 큰 무언가의 시작점일까? 최근 등장한 우르사(Ursa)라는 새로운 스토리지 엔진은 이 질문에 대한 답을 제시하려 한다. 아니, 어쩌면 질문을 더 복잡하게 만들지도 모른다.
우르사가 주목하는 것은 바로 ‘레이크하우스’ 패러다임이다. 데이터 웨어하우스와 데이터 레이크의 장점을 결합한 이 개념은 이미 스노우플레이크, 데이터브릭스 같은 플랫폼에서 실용화되고 있다. 하지만 우르사는 여기서 한 걸음 더 나아간다. 카프카의 스트림을 직접 레이크하우스로 연결하겠다는 것이다. 전통적으로 카프카는 메시지 브로커로서의 역할에 충실했지만, 시간이 지나면서 스트림 처리, 스토리지 레이어, 심지어 데이터 통합 플랫폼까지 그 경계가 모호해지고 있다. 우르사는 이러한 흐름을 가속화하는 동시에, 카프카가 단순히 ‘통과점’이 아니라 ‘출발점’이 될 수 있음을 보여준다.
여기서 흥미로운 점은 우르사가 아파치 아이스버그(Iceberg)라는 오픈 테이블 포맷을 기반으로 한다는 사실이다. 아이스버그는 데이터 레이크의 트랜잭션, 스키마 진화, 파티셔닝 등을 지원하는 현대적인 포맷으로, 데이터브릭스의 델타 레이크나 아파치 후디와 경쟁하는 기술이다. 그런데 왜 하필 아이스버그일까? 그 답은 아이스버그의 설계 철학에서 찾을 수 있다. 아이스버그는 ‘파일 기반’이 아닌 ‘테이블 기반’의 추상화를 제공한다. 이는 데이터가 단순히 파일로 쌓이는 것이 아니라, 구조화된 테이블로 관리된다는 의미다. 카프카의 스트림이 아이스버그 테이블로 직접 변환되면, 실시간 데이터와 배치 데이터의 경계가 허물어진다. 더 이상 ‘스트림 처리’와 ‘배치 처리’를 따로 생각할 필요가 없어지는 것이다.
하지만 우르사가 가져올 변화는 기술적 차원을 넘어선다. 데이터 인프라의 아키텍처가 근본적으로 재편될 가능성이 있기 때문이다. 현재 대부분의 조직은 카프카를 실시간 데이터 파이프라인으로 사용하고, 별도의 데이터 레이크나 웨어하우스에 데이터를 적재한다. 이 과정에서 ETL(Extract-Transform-Load) 파이프라인이 필수적으로 따라붙는다. 우르사는 이 과정을 단순화한다. 카프카 스트림이 직접 아이스버그 테이블로 변환되면, ETL의 필요성이 줄어들고, 데이터의 이동 경로가 단축된다. 이는 곧 운영 복잡성 감소와 비용 절감으로 이어질 수 있다.
데이터 인프라는 항상 ‘통합’을 꿈꾼다. 실시간과 배치, 스트림과 스토리지, 분석과 운영. 우르사는 이 꿈에 한 발짝 더 다가서는 시도다. 하지만 통합이 항상 최선의 해답은 아니다. 복잡성은 단순함으로 포장될 뿐, 사라지는 것은 아니기 때문이다.
물론 우르사에도 한계는 있다. 첫째, 아이스버그 자체가 아직 성숙 단계에 있다. 대규모 환경에서의 안정성, 성능 최적화, 생태계와의 호환성 등 해결해야 할 과제가 많다. 둘째, 카프카의 스트림을 레이크하우스로 직접 연결하는 것이 항상 최적의 선택은 아닐 수 있다. 일부 데이터는 여전히 별도의 웨어하우스나 검색 엔진으로 보내는 것이 더 효율적일 수 있다. 셋째, 우르사가 가져올 아키텍처 변화는 기존 시스템과의 호환성 문제를 야기할 수 있다. 이미 카프카를 중심으로 구축된 파이프라인이 있다면, 우르사를 도입하는 것이 오히려 복잡성을 증가시킬 수도 있다.
그렇다면 우르사는 단순한 기술적 실험에 불과한 걸까? 그렇지 않다. 우르사는 데이터 인프라의 미래를 보여주는 하나의 단면이다. 데이터의 흐름이 점점 더 실시간화되고, 스트림과 스토리지의 경계가 사라지는 지금, 우르사와 같은 시도들은 필연적이다. 중요한 것은 이러한 변화가 가져올 ‘의미’를 제대로 이해하는 것이다. 기술이 진화한다고 해서 모든 문제가 해결되는 것은 아니다. 오히려 새로운 기술은 새로운 질문을 던진다. 우르사가 성공하든 실패하든, 그것이 던지는 질문은 이미 가치 있는 것이다.
데이터 인프라의 세계에서 ‘완벽한 솔루션’은 존재하지 않는다. 우르사도 예외는 아닐 것이다. 하지만 그것이 가져올 변화의 방향성은 주목할 만하다. 카프카가 단순한 메시지 브로커를 넘어 데이터 플랫폼으로 진화하는 것처럼, 데이터 인프라도 점점 더 통합되고 유연해지고 있다. 우르사는 이러한 흐름 속에서 ‘무엇이 가능한가’를 보여주는 실험이다. 그리고 그 실험이 성공하든 실패하든, 우리가 데이터의 미래를 고민하는 데 중요한 자극제가 될 것이다.
이 글의 원문은 여기에서 확인할 수 있다.
이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
