엔비디아 ‘네모트론 3.5 라이트닝’ 공개… 빠르고 전문화된 에이전틱 작업 지원
엔비디아가 오픈 모델, 소프트웨어, 개발자 도구, 하드웨어를 아우르는 로컬 AI 생태계를 확장한다. 이와 함께 AI 애호가와 개발자들이 더욱 강력한 에이전틱 AI를 로컬 환경에서 구축하고 맞춤 설정할 수 있도록 지원한다고 밝혔다.
업체 측에 따르면, 8월 한 달 동안 엔비디아(NVIDIA)는 로컬 AI 발전을 이끌고 있는 파트너와 오픈소스 커뮤니티를 비롯해, 생태계 전반에서 등장한 다양한 모델과 애플리케이션, 도구를 집중 조명한다. 여기에는 엔비디아의 최신 오픈 모델, 소프트웨어, 개발자 도구는 물론, 사용자들이 로컬 AI를 시작하는 데 도움을 주는 가속 컴퓨팅, 라이브러리, 교육 리소스가 포함된다.
엔비디아는 네모트론 3(Nemotron 3) 모델 제품군을 확장하는 동시에, 상시 작동하는 에이전트를 위한 30B 규모의 맞춤형 오픈 전문가 혼합(Mixture-of-Experts, MoE) 모델인 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)을 공개했다. 이는 동급 오픈 모델 대비 토큰 생성 속도를 최대 4배 높이고, 작업 완료 시간을 30% 단축한다.
네모트론 3.5 라이트닝은 오픈 웨이트 방식으로 제공된다. 따라서 AI 애호가와 개발자들은 자체 데이터를 활용해 파인튜닝함으로써 특정 작업과 관심 분야, 워크플로우에 더욱 적합하게 모델을 맞춤 설정할 수 있다.
이러한 파인튜닝 모델은 애플리케이션, 파일, 기타 도구의 접근 기능을 결합해 보다 개인화된 로컬 에이전틱 AI 경험을 제공한다. 이메일과 캘린더 관리를 지원하는 어시스턴트부터 일상적 일과를 처리하는 스마트홈 에이전트, 개발자와 함께 로컬 코드베이스에서 작업하는 코딩 도우미까지 다양한 활용이 가능하다고 업체 측은 전했다.
엔비디아는 네모트론 3.5 라이트닝 모델의 최적화된 로컬 배포 환경을 위해 vLLM, 올라마(Ollama), 라마.cpp(llama.cpp), LM 스튜디오(LM Studio)와 협력했다. 이를 통해 개발자는 NVFP4와 GGUF 형식 모델 중 필요에 맞는 방식을 선택할 수 있다. 언슬로스(Unsloth) 역시 최적화·양자화된 모델을 지원하며, 언슬로스 스튜디오(Unsloth Studio)를 통한 효율적인 로컬 배포를 지원한다.
네모트론 3.5 라이트닝은 엔비디아 RTX PC, 엔비디아 DGX 스파크(DGX Spark), OEM GB10 시스템, 엔비디아 젯슨(Jetson)에서 로컬로 실행할 수 있으며, RTX PRO 워크스테이션(RTX PRO Workstation), 엔비디아 DGX 스테이션(DGX Station)과 GB300 데스크사이드 시스템, 데이터센터, 클라우드 환경으로 확장할 수 있다. 에이서(Acer), 에이수스(ASUS), 델 테크놀로지스(Dell Technologies), 익잭트(Exxact), 기가바이트(GIGABYTE), HP, 레노버(Lenovo), MSI, 슈퍼마이크로(Supermicro)에서 엔비디아 블랙웰(Blackwell) 시스템을 제공함에 따라, 사용자는 자신의 필요에 맞는 다양한 기기와 폼팩터를 선택할 수 있다.
생성형 AI 도입이 확대되면서 기업들은 프론티어 인텔리전스를 유지하면서도 증가하는 토큰 비용을 관리할 방법을 모색하고 있다. 엔비디아 네모 스위치야드(NeMo Switchyard)는 오픈소스 라우팅 라이브러리로, 정확도와 속도, 비용을 기준으로 에이전트 워크플로우의 각 단계를 가장 적합한 모델로 자동 연결한다. 또한 개발자가 작업에 따라 다양한 모델과 제공업체를 유연하게 활용할 수 있도록 지원한다.
내부 벤치마크에 따르면, 네모 스위치야드는 각 단계를 여러 모델로 분산하는 방식으로 프론티어 수준의 작업 완료 성능을 보였다. 또한 벤치마크 작업 완료 비용을 오퍼스 4.8(Opus 4.8) 대비 약 3분의 1 수준으로 낮췄다. 네모 스위치야드는 깃허브(GitHub)에서 이용할 수 있다는 설명이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
