데이터 엔지니어링에 엔비디아 cuDF 기반 네이티브 GPU 가속 기능 탑재...CPU 대비 최대 4배 가속
클라우데라(한국지사장 최승철)가 클라우데라 데이터 엔지니어링에 엔비디아(NVIDIA) 쿠다-X(CUDA-X) 라이브러리인 ‘cuDF’를 기반으로 한 아파치 스파크(Apache Spark) 4.1용 네이티브 GPU 가속 기능을 도입한다고 발표했다.
아파치 스파크용 엔비디아 cuDF 플러그인은 최근 발표된 클라우데라 애니웨어 클라우드(Cloudera Anywhere Cloud™)를 지원할 예정이다. 이를 통해 파이스파크(PySpark)나 SQL 코드를 수정하지 않고도 스파크 워크로드를 가속할 수 있으며, 하이브리드 환경 전반에서 클라우드 인프라 비용을 절감하면서 ‘AI-ready’ 데이터를 더 빠르게 준비할 수 있다는 설명이다.
기업들이 AI 이니셔티브를 확대하면서 데이터 준비 속도는 핵심 과제로 부상했다. 대규모 스파크 워크로드는 완료까지 수 시간이 소요되는 경우가 많아 분석과 AI 애플리케이션 도입이 지연되는 동시에 클라우드 컴퓨팅 비용도 증가한다. 클라우데라 데이터 엔지니어링에 GPU 가속 기능을 직접 통합한다면 기존 스파크 애플리케이션을 그대로 사용하면서 코드나 운영 워크플로우를 변경할 필요 없이 처리 시간을 크게 단축할 수 있다고 업체 측은 전했다.
기업용 AI를 위한 스파크 가속
업체 측에 따르면, 아파치 스파크는 오늘날 기업 데이터 파이프라인의 상당수를 구동하고 있다. 클라우데라 데이터 엔지니어링에 네이티브 GPU 가속 기능을 내장함으로써 기업은 운영 워크로드에 필요한 보안 및 거버넌스를 유지하면서 성능을 향상시킬 수 있다. 클라우데라는 스파크 워크로드에 엔비디아 cuDF를 활용해 기존 CPU 인프라 대비 엔비디아 GPU에서 최대 4배의 워크로드 가속을 제공할 예정이며, 이를 통해 기업은 데이터 처리 주기를 크게 단축할 수 있다는 것이다.
단일 클라우드 공급업체에 한정되는 GPU 가속 솔루션과 달리, 클라우데라는 하이브리드 환경 전반으로 해당 기능을 확장하면서 일관된 거버넌스와 운영 환경을 유지한다. 기업은 온프레미스, 클라우드, 엣지 등 데이터가 있는 곳 어디서나 보안이나 유연성을 저해하지 않고 스파크 워크로드를 가속할 수 있다.
데이터 파이프라인 가속과 인프라 비용 절감
신뢰할 수 있는 데이터를 신속하고 합리적인 비용으로 준비하는 것은 분석과 AI에 필수적이다. 클라우데라가 최근 발표한 ‘AI 아키텍처 대전환(The Great AI Re-Architecture)’ 보고서에 따르면, 응답자의 대다수인 84%가 AI 워크로드로 인해 인프라 비용이 증가했다고 답했다. 스파크 처리를 가속하면 기업은 정제된 AI-ready 데이터를 더욱 빠르게 확보해 인프라 비용을 절감하는 동시에 데이터 엔지니어링, AI, 분석팀 전반의 생산성을 향상시킬 수 있다는 것이다.
레오 브루닉(Leo Brunnick) 클라우데라 최고제품책임자(CPO)는 “많은 기업에서 AI의 걸림돌은 모델이 아닌, 원시 데이터를 얼마나 빠르게 신뢰할 수 있고 활용 가능한 인사이트로 전환할 수 있는지 여부다”라며, “클라우데라 데이터 엔지니어링 내에서 스파크를 가속하면 이러한 병목을 해소할 수 있다”고 말했다. 이어 “이를 통해 고객은 데이터 준비 단계에서 분석과 AI 단계로 더욱 빠르게 나아가는 동시에 거버넌스, 보안, 운영의 일관성을 전략의 중심에 유지할 수 있다”고 전했다.
팻 리(Pat Lee) 엔비디아 전략적 기업 파트너십 부사장은 “AI 도입을 가속하는 가장 빠른 방법은 기업이 현재 운영하고 있는 방식에 부합하는 것”이라며, “엔비디아 AI 인프라와 쿠다-X 라이브러리가 클라우데라 데이터 엔지니어링에 네이티브로 통합됨에 따라, 기업은 파이스파크나 SQL 코드를 단 한 줄도 수정하지 않고 아파치 스파크 파이프라인의 비용을 절감하고 속도를 대폭 높여 비즈니스 데이터를 AI의 기반으로 전환할 수 있다”고 밝혔다.
아파치 스파크용 GPU 가속 기능은 EVOLVE26 싱가포르에서 발표된 클라우데라 애니웨어 클라우드의 일부로, 2026년 8월 20일부터 클라우데라 데이터 엔지니어링에서 제공된다는 설명이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
