VAST 데이터와 AI 데이터 플랫폼 제공 위한 전략적 파트너십 체결...잠재 기업 데이터 AI 레디 데이터로 전환
클라우데라(한국지사장 최승철)가 VAST 데이터와 전략적 파트너십을 체결했다고 발표했다.
양사는 이번 협력을 통해 통합형 'AI 팩토리(AI Factory)' 솔루션을 공동 제공한다. AI 팩토리란 데이터가 지속적으로 수집·정제·관리되어 AI 모델의 학습 및 추론에 즉시 공급되는 확장 가능한 프로덕션 환경을 의미한다. 이 인프라는 온프레미스 데이터센터와 퍼블릭 클라우드 등 하이브리드 환경에서 어디서나 구축 가능하다는 설명이다.
업체 측에 따르면, 이번 협력은 클라우데라의 차세대 컨테이너형 데이터 서비스와 고성능 스토리지·데이터베이스·글로벌 네임스페이스 기능을 통합해 대규모 AI, 분석, 미션 크리티컬 데이터 워크로드를 지원하는 VAST AI 운영체제를 결합한다. 이 데이터 플랫폼 계층은 엔비디아 AI 데이터 플랫폼 레퍼런스 디자인을 기반으로, 잠재된 기업 데이터를 AI 팩토리의 원동력이 되는 AI 레디 데이터로 전환한다는 것이다.
생성형 AI와 에이전틱 AI 도입을 서두르는 기업들이 직면한 핵심 과제 중 하나는 GPU 병목 현상이다. 이는 고가의 GPU 클러스터가 데이터 공급 지연으로 인해 유휴 상태에 놓이는 것을 말한다. AI 팩토리는 GPU에 고처리량·저지연 데이터를 지속적으로 공급해 해당 문제를 해결하고 GPU 활용률과 투자 대비 수익(ROI)을 획기적으로 개선한다.
클라우데라의 레이크하우스 아키텍처는 데이터 엔지니어링, 스트리밍, 분석, 머신러닝, AI 등 컨테이너 데이터 서비스를 하이브리드·멀티 클라우드 환경에 일관되게 배포할 수 있도록 지원한다. VAST AI 운영체제의 기반인 VAST 데이터의 분산 공유 아키텍처는 엑사바이트 규모의 데이터 인프라와 함께 GPU 가속 벡터 인덱싱·검색을 위해 엔비디아 cuVS를 통합한 벡터 데이터베이스 서비스, 현대 GPU 클러스터 및 AI 워크로드에 최적화된 고성능 스토리지를 제공한다. 엔비디아 AI 데이터 플랫폼 레퍼런스 디자인을 통합한 VAST의 AI OS는 엔비디아 가속 컴퓨팅을 활용해 잠재된 기업 데이터를 활성화된 AI 레디 데이터로 전환하고, 클라우데라는 그 위에서 데이터 엔지니어링, 분석, 거버넌스, AI 서비스를 제공한다.
AI 팩토리를 통해 제공되는 이점은 △초고대역폭, 저지연 데이터 파이프라인을 통한 GPU 병목 현상 해소 △GPU의 가동률을 높게 지속적으로 유지해 컴퓨팅 효율성 향상 △정형, 비정형, 멀티모달 데이터셋에 대한 대규모 스토리지 제공 △원시 데이터 수집부터 모델 배포까지 아우르는 통합 AI 팩토리 아키텍처 △데이터센터, 프라이빗 클라우드, 퍼블릭 클라우드 전반에서의 일관된 운영 지원 △엔터프라이즈급 거버넌스 및 규정 준수를 통한 안전한 프라이빗 AI 환경 구축 등이다. 기업은 이를 통해 단발성 AI 실험 단계를 넘어 비즈니스 가치를 지속적으로 창출하는 프로덕션급 AI 시스템으로 전환할 수 있다는 설명이다.
이번 파트너십은 엔비디아 AI 인프라, 엔비디아 AI 엔터프라이즈 소프트웨어 기반의 기본 데이터 플랫폼인 VAST AI 운영체제, 클라우데라의 엔터프라이즈 데이터·AI 서비스를 결합해 프라이빗 AI와 소버린 AI에 최적화된 프라이빗 AI 팩토리 솔루션을 강화한다. 이러한 솔루션 중 하나인 클라우데라 AI 인퍼런스 서비스는 엔비디아 NIM 마이크로서비스로 가속되며, 기업이 최신 엔비디아 네모트론 오픈 모델을 포함한 어떤 모델이든 데이터가 있는 곳에서 배포하고 확장할 수 있도록 지원한다.
또한 고객사는 엔비디아 cuDF로 아파치 스파크 워크로드를 가속해, 스파크 작업이 GPU 가속 처리로 VAST 데이터의 고처리량 데이터 서비스를 활용해 클라우데라 데이터 엔지니어링 워크로드를 투명하게 가속하고 AI 워크로드 최적화를 더욱 강화한다. 특히, 규제가 엄격한 산업에 속한 기업에게는 이번 파트너십을 통해 어디서든 프로덕션급 AI 시스템을 구축할 수 있는 완전한 '실리콘에서 애플리케이션까지(silicon-to-application)' 솔루션을 제공한다고 업체 측은 전했다.
클라우데라는 이번 파트너십을 통해 60엑사바이트 규모의 고객 데이터가 통합돼 양사 모두에게 상당한 신규 수익 창출 기회가 생긴다고 밝혔다. 또한, 프라이빗 AI 인프라에 대한 기업의 수요 증가가 더해지며, 향후 성장 가능성이 높은 파이프라인이 구축될 전망이다.
아바스 리키(Abhas Ricky) 클라우데라 클라우데라 최고사업책임자(CBO) 및 응용 AI 부문 총괄은 "기업들이 GPU에 수십억 달러를 투자하고 있지만, 데이터 병목으로 인해 충분한 가동률을 확보하지 못하는 경우가 많다"며, "클라우데라는 VAST 데이터와의 파트너십을 통해 GPU 병목 현상을 해소하고, 데이터 수집부터 인사이트 도출까지 데이터가 원활하게 흐르는 진정한 AI 팩토리를 구현할 수 있도록 지원한다"고 밝혔다.
제프 덴워스(Jeff Denworth) VAST 데이터 공동창업자는 "대부분의 기업은 이미 AI에 필요한 데이터를 보유하고 있다"며, " 관건은 데이터의 가치를 끌어내 AI 추론, 파인튜닝, 데이터 분석으로 이어지는 지속적인 파이프라인을 구축해 차세대 지능형 애플리케이션을 만드는 것”이라고 말했다. 이어 “클라우데라와 VAST는 고객이 데이터, 인텔리전스, 인프라를 하이브리드 환경 전반의 단일 AI 운영 플랫폼으로 연결하는 AI 팩토리를 구축할 수 있도록 지원한다"고 강조했다
최승철 클라우데라코리아 지사장은 “클라우데라 최근 데이터 준비 설문조사에 따르면, 국내 기업의 56%가 인프라 제약을 갖고 있어 데이터 기반 이니셔티브가 저해되고 있다"며, " 데이터 품질과 통합 부족은 AI 도입 확장과 ROI 극대화의 걸림돌로 작용하고 있는 상황”이라고 말했다. 이어 “결국 AI에 데이터를 막힘 없이 공급할 수 있는지가 관건이 되고 있다"며, " 이번 VAST 데이터와의 파트너십을 통해 국내 고객사는 GPU 자원을 최대한 활용하고 AI 투자의 실질적인 성과를 거둘 수 있을 것”이라고 전했다.
클라우데라와 VAST 데이터의 공동 AI 팩토리 솔루션은 즉시 이용 가능하다. 레퍼런스 아키텍처, 검증된 배포 패턴, 산업별 특화 솔루션은 올해에 걸쳐 지속적으로 확장될 예정이다. 자세한 내용은 cloudera.com에서 확인할 수 있다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
