2조 개 이상 파라미터 모델 기반 멀티 에이전트 시스템에 높은 상호작용성과 긴 컨텍스트 지원
엔비디아가 엔비디아 그록 3 LPX(NVIDIA Groq 3 LPX)를 통해 엔비디아 베라 루빈(Vera Rubin)에서 긴 컨텍스트를 유지하면서 초고속 상호작용을 구현할 수 있다고 발표했다.
엔비디아 그록 3 LPX는 엔비디아 베라 루빈 플랫폼을 위한 인터랙티브 AI 추론 가속기이다. 이 플랫폼의 핵심에는 지금까지 구축된 가장 범용성이 높은 시스템인 엔비디아 베라 루빈 NVL72가 있다.
업체 측에 따르면, 엔비디아 베라 루빈 NVL72는 소형 모델부터 대형 모델까지 개방형 모델과 폐쇄형 모델을 아우르는 가장 폭넓은 AI 워크로드에서 높은 처리량과 상호작용성을 제공한다. 엔비디아 그록 3 LPX를 엔비디아 베라 루빈 NVL72와 함께 사용하면 최고 수준의 상호작용성이 요구되는 서빙 티어(serving tier)까지 지원하도록 플랫폼의 역량을 확장할 수 있다. 이를 통해 베라 루빈은 AI 팩토리에서 사용자 경험을 구동하는 역량을 한층 강화한다.
엔비디아 그록 3 LPX 시스템을 대상으로 한 최초의 서드파티 성능 벤치마크에서 아티피셜 애널리시스(Artificial Analysis)는 엔비디아 그록 3 LPX에서 젬마 4(Gemma 4) 31B 모델을 대상으로 100K 컨텍스트 벤치마크를 실행했으며, 초당 3,431개의 출력 토큰이라는 세계적 최고 수준의 상호작용 성능을 측정했다. 이러한 성능을 구현하는 기술을 기반으로 엔비디아 그록 3 LPX와 엔비디아 베라 루빈 NVL72를 결합하면, 엔비디아 베라 루빈 플랫폼은 2조 개 이상의 파라미터를 갖춘 모델로 구동되는 멀티 에이전트 시스템을 높은 상호작용성과 긴 컨텍스트로 서비스할 수 있다는 설명이다.
높은 상호작용성에서 긴 컨텍스트가 중요한 이유
에이전틱 세션은 멀티턴(multiturn) 추론을 특징으로 한다. 각 턴이 끝날 때마다 에이전트의 응답이 지속적으로 확장되는 컨텍스트에 추가되며, 이 컨텍스트는 이후의 모든 턴에 입력된다.
(그림 1. 멀티턴 에이전틱 세션이 진행됨에 따라 각 턴으로 전달되는 컨텍스트가 지속적으로 증가)
그림 1에서 볼 수 있듯이 전체 에이전틱 세션에 걸쳐 컨텍스트는 수십만 개의 토큰으로 증가할 수 있으며, 특히 세션이 수백 턴을 넘어설수록 그 규모가 더욱 커진다. 즉, 작업이 진행됨에 따라 에이전트는 지금까지 축적한 모든 정보를 반복적으로 처리해야 한다고 업체 측은 전했다.
긴 컨텍스트가 없다면 에이전트는 이전에 발생한 일과 관련된 컨텍스트 중 극히 일부만 고려할 수 있다. 기반 모델이 아무리 빠르고 뛰어나더라도, 컨텍스트가 제한적이라면 에이전트의 능력도 제한될 수밖에 없다. 가장 뛰어난 에이전트는 세션이 진행됨에 따라 긴 컨텍스트를 유지하는 동시에 빠른 처리 속도를 보장해야 한다.
긴 컨텍스트에서 초고속 상호작용성으로 모델을 서빙하기 어려운 이유
사용자당 초당 3,000개 이상의 토큰으로 모델을 서빙하는 동시에 10만 개 입력 토큰에 대한 KV 캐시를 관리하려면 고유한 시스템 과제를 해결해야 한다. 추론 시스템에서는 텐서 병렬화(Tensor Parallelism, TP)와 같은 분할 정복 기법을 활용해 성능을 약 10배 수준으로 크게 높일 수 있지만, 이를 위해서는 시스템이 필요한 조정 작업, 즉 집합 연산(collective operations)을 효율적으로 관리할 수 있어야 한다. 그러나 최고 수준의 상호작용성을 구현하려면 매우 작은 배치 크기가 필요한데, 이 경우 고정적으로 발생하는 조정 비용이 텐서 병렬화를 통해 절감되는 시간보다 더 커질 수 있다는 것이다.
텐서 병렬화는 두 단계로 이뤄진다. 일련의 연산을 여러 칩에 나눠 병렬로 수행하는 단계와 그 결과를 다시 결합하는 단계다. 높은 상호작용성이 필요한 추론에서는 배치 크기가 매우 작기 때문에 TP를 효과적으로 활용하기 위해 긴밀한 조정이 필요하다. 수많은 작은 텐서가 컴퓨팅 유닛 사이를 오가며, 각 텐서는 정확히 필요한 위치와 시점에 전송되고 도착해야 한다. 이 과정에서 통신하고 결과를 결합하는 데 걸리는 시간이 연산을 분산함으로써 절감한 시간과 비슷해지거나 오히려 더 길어질 수 있다.
(그림 2. 모든 시스템에서 두 칩 또는 코어 간 데이터 전송에 걸리는 시간을 나타내는 방정식)
어떤 시스템에서든 프로세서 간 네트워크는 이러한 일련의 전송 과정을 조정해야 한다. 그림 2와 같이, 각 개별 전송에 걸리는 전체 시간은 '첫 비트 레이턴시'와 '전송 시간'으로 구성된다.
텐서 병렬화를 통해 약 10배 수준의 속도 향상을 얻기 위해서는 첫 비트 레이턴시를 가능한 한 최소 수준으로 낮춰야 한다. 모델 가중치와 긴 컨텍스트 KV 캐시 모두에 병렬화를 적용하면서 전체 순전파 과정에서 이를 구현하려면, 낮은 레이턴시와 긴 컨텍스트를 모두 고려해 설계된 접근 방식이 필요하다는 설명이다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
