‘메탈-투-에이전트’ 기반 AI 플랫폼 발표… 하이브리드 클라우드 전반서 에이전트·모델 확장 지원
레드햇(Red Hat)이 AI 실험 단계와 프로덕션 수준 운영 간의 격차를 해소하기 위해 ‘레드햇 AI(Red Hat AI) 3.4’를 공개했다.
레드햇은 이번 업데이트를 통해 통합된 ‘메탈-투-에이전트(metal-to-agent)’ 플랫폼 기반으로 에이전틱 워크플로우 개발과 배포를 간소화하고, 기업이 파일럿 단계를 넘어 전체 인프라 전반에서 확장 가능한 AI를 구현할 수 있도록 지원한다고 밝혔다.
레드햇 AI 3.4는 하이브리드 클라우드 환경 전반에서 모델과 에이전틱 워크플로우를 확장할 수 있도록 설계된 통합 플랫폼이다. 핵심 기능으로는 서비스형 모델(Model-as-a-Service, MaaS)이 포함됐다.
이를 통해 개발자는 단일 거버넌스 인터페이스에서 선별된 모델에 접근할 수 있으며, 관리자는 사용량 모니터링과 정책 적용을 수행할 수 있다. 해당 기능은 vLLM 및 llm-d 기반 분산 추론 기술을 활용해 다양한 환경에서 고성능 모델 서빙을 지원한다는 설명이다.
레드햇은 또한 에이전트 운영을 위한 ‘에이전트옵스(AgentOps)’ 기능도 새롭게 도입했다. 업체 측에 따르면, 이 기능은 통합 추적(tracing), 가시성(observability), 암호학 기반 신원 관리 및 라이프사이클 관리 기능을 제공해 개발 단계부터 운영 단계까지 에이전트를 일관되게 관리할 수 있도록 지원한다.
데이터와 모델·에이전트 간 연결성을 강화하기 위한 기능도 추가됐다. 레드햇 AI 3.4는 프롬프트를 핵심 데이터 자산으로 관리하는 ‘프롬프트 관리(Prompt Management)’ 기능과 모델 및 에이전트의 정확성·품질·안전성을 평가하는 ‘평가 허브(Evaluation Hub)’를 새롭게 제공한다는 것이다. 이들 기능은 MLflow 기반으로 구현돼 생성형 AI와 예측형 AI 전반의 실험 추적 및 아티팩트 관리 기능도 함께 지원한다.
보안 기능도 강화됐다. 레드햇은 채터박스 랩스(Chatterbox Labs) 기술과 오픈소스 프로젝트 가락(Garak)을 활용한 자동화된 안전성 테스트 및 레드팀(red-teaming) 기능을 제공한다고 설명했다. 이를 통해 탈옥(jailbreak), 프롬프트 주입(prompt injection), 편향성(bias) 등의 위험 요소를 점검할 수 있도록 했다. 또한 엔비디아 네모 가드레일(NVIDIA NeMo Guardrails)과 연동해 런타임 안전성도 지원한다.
레드햇 AI 3.4는 추론 성능과 하드웨어 지원도 확대했다. 레드햇 AI 인퍼런스(Red Hat AI Inference)는 요청 우선순위 지정 기능을 추가해 지연 시간에 민감한 요청을 우선 처리할 수 있도록 지원하며, 추측 디코딩(speculative decoding) 기능을 통해 응답 속도를 최대 2~3배 향상시켰다.
아울러 엔비디아 블랙웰(NVIDIA Blackwell) GPU와 AMD MI325X 아키텍처에 대한 데이제로(day-zero) 지원을 제공하며, IBM 클라우드 등 서드파티 매니지드 클라우드 환경에서도 실행할 수 있도록 지원 범위를 확대했다.
조 페르난데스(Joe Fernandes) 레드햇 AI 비즈니스 유닛 부사장 겸 총괄 관리자는 “에이전틱 시대는 기존 애플리케이션 실행에서 지능형 자율 시스템 운영으로의 전환점”이라며, “레드햇은 AI 추론과 MaaS, 에이전트옵스를 위한 개방형 기반을 제공함으로써 기업이 통제력을 유지하면서도 대규모 혁신을 추진할 수 있도록 지원할 것”이라고 말했다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
