2024년 1월, 주니퍼는 적합한 인프라상에서 적합한 데이터를 활용하여 적합한 실시간 조치를 제공함으로써 최적의 사용자 및 운영자 경험을 구현하는 AI 네이티브 네트워킹 플랫폼을 발표했습니다. 주니퍼는 네트워킹 운영 간소화를 위한 AI(네트워킹을 위한 AI)와 AI 워크로드 및 GPU 성능 향상을 위한 AI 최적화 이더넷 패브릭(AI를 위한 네트워킹)을 사용하여 고객에게 경험 최우선 네트워킹을 제공하는 데 주력하고 있습니다.
이와 더불어 최근, 주니퍼는 QFX 스위치, PTX 라우터, SRX 방화벽으로 구성된 고성능 보안 데이터센터 네트워크 인프라의 풍부한 경험을 바탕으로 AI 데이터센터를 위한 엔드투엔드 멀티벤더 운영을 제공하는 AI 네이티브 네트워킹 아키텍처의 확장을 발표하였습니다. 주니퍼의 새로운 Ops4AI 솔루션은 강력한 최신 기능을 통해 고객에게 보다 큰 가치를 제공합니다. Ops4AI는 다음과 같은 주니퍼 네트웍스 구성 요소들을 결합하여 독보적인 솔루션을 구현합니다.
- Marvis Virtual Network Assistant를 기반으로 구축된 데이터센터의 AIOps
- 주니퍼Apstra 멀티벤더 데이터센터 패브릭 관리를 통한 인텐트 기반 자동화
- IPv4/v6용 RoCEv2, 혼잡 관리, 효율적인 로드 밸런싱 및 텔레메트리를 포함한 AI 최적화 이더넷 기능
이러한 결합을 통해 Ops4AI는 고성능 AI 데이터센터의 가치 실현을 가속화하는 동시에 운영 비용을 절감하고 프로세스를 간소화할 수 있습니다. 이제 몇 가지 새로운 기능이 추가되어 솔루션이 더욱 향상되었습니다. 오픈 소스 및 프라이빗 AI 모델과 워크로드 테스트를 위해 고객에게 개방된 새로운 멀티벤더 주니퍼 Ops4AI Lab과 주니퍼, Nvidia, Broadcom, Intel, Weka 및 기타 파트너를 사용하는 AI 구성을 위한 네트워킹을 보장하는 JVD(Juniper Validated Designs), 그리고 AI 최적화 데이터센터 네트워킹을 위한 Junos 소프트웨어 및 Apstra 최신 기능이 바로 그것입니다.
Junos® 소프트웨어와 주니퍼 Apstra의 다음과 같은, 새로운 개선 사항을 살펴보겠습니다.
AI를 위한 패브릭 오토튜닝
GPU의 RDMA(Remote Dynamic Memory Access)는 AI 네트워크에서 대규모 네트워크 트래픽을 발생시킵니다. 로드 밸런싱과 같은 혼잡 방지 기술에도 불구하고 혼잡한 상황이 있을 수 있습니다(예: 여러 GPU의 트래픽이 마지막 홉 스위치에서 단일 GPU로 이동). 이러한 상황이 발생하면 고객은 DCQCN(Data Center Quantified Congestion Notification)과 같은 혼잡 제어 기술을 사용합니다. DCQCN은 ECN(Explicit Congestion Notification) 및 우선순위 기반 플로우 제어(PFC)와 같은 기능을 사용하여 매개변수 설정을 계산하고 구성하여 모든 스위치에서 각 포트의 각 대기열에 대해 최상의 성능을 확보합니다. 모든 스위치에 걸친 수천 개의 대기열에서 이를 수동으로 설정하는 것은 어렵고 번거로운 일입니다.
Apstra는 이 문제를 해결하기 위해 정기적으로 각 포트에 대해 이러한 각 대기열에서 텔레메트리를 수집합니다. 해당 텔레메트리 정보는 각 포트의 각 대기열에 대해 최적의 ECN 및 PFC 매개변수 설정을 계산하는 데 사용됩니다. 폐루프 자동화를 사용하여 네트워크의 모든 스위치에 최적의 설정이 구성됩니다.
이 솔루션은 최적의 혼잡 제어 설정을 제공하여 운영을 크게 간소화하고 지연과 JCT(job completion times)를 단축합니다. AI 인프라에 막대한 투자를 하고 있는 고객들은 이제 주니퍼 Apstra에서 이러한 기능을 추가 비용없이 사용할 수 있습니다. 최근 Cloud Field Day의 데모를 시청하여 이러한 기능이 어떻게 작동하는지 자세히 알아보실 수 있습니다. 더불어 해당 애플리케이션은 GitHub에도 업로드 되어 있습니다.
그림 1: AI를 위한 패브릭 오토튜닝
글로벌 로드 밸런싱
AI 네트워크 트래픽에는 고유한 특성이 있습니다. 이는 대부분 GPU의 RDMA 트래픽에 의해 구동되며, 이로 인해 높은 대역폭과 더 적지만 더 큰 플로우(흔히 엘리펀트 플로우라고 함)가 발생합니다. 결과적으로, 5-튜플 해시 기반의 정적 로드 밸런싱은 제대로 작동하지 않습니다. 여러 엘리펀트 플로우가 동일한 링크에 매핑되어 혼잡을 유발합니다. 이로 인해 JCT가 느려지며, 이는 대규모 GPU 투자에 치명적입니다.
이 문제를 해결하기 위해 동적 로드 밸런싱(DLB)을 사용할 수 있습니다. DLB는 로컬 스위치의 업링크 상태를 고려합니다.
기존의 정적 로드 밸런싱과 비교하여 DLB는 패브릭 대역폭 활용도를 크게 향상시킵니다. 그러나 DLB의 한계 중 하나는 수신 노드에서 송신 노드까지의 전체 경로 품질을 이해하지 않고 로컬 링크의 품질만 추적한다는 것입니다. CLOS 토폴로지가 있고 서버 1과 서버 2가 각각 플로우-1과 플로우-2라는 데이터를 보내려고 한다고 가정해 보겠습니다. DLB의 경우, 리프-1은 로컬 링크 활용도만 알고 로컬 링크가 완벽한 상태일 수 있는 로컬 스위치 품질 테이블만을 기반으로 결정을 내립니다. 하지만 GLB를 사용하면 스파인-리프 수준 내에서 혼잡 문제가 있는 전체 경로 품질을 이해할 수 있습니다.
그림 2: 플로우의 로드 밸런싱
선택한 경로가 엔드 투 엔드 보기를 기반으로 하는 Google 지도와 유사하다고 볼 수 있습니다.
게다가 이 기능은 최적의 네트워크 경로를 선택하고 대기 시간을 단축하며 네트워크 활용도를 높일 뿐 아니라 JCT 속도를 향상시킵니다. AI 워크로드 관점에서 보면 AI 워크로드 성능이 향상되고 고가의 GPU 활용도가 높아집니다.
네트워크에서부터 SmartNIC까지의 엔드 투 엔드 가시성
오늘날, 관리자는 네트워크 스위치만 관찰하여도 혼잡이 발생하는 위치를 알아낼 수 있습니다. 그러나 어떤 엔드포인트(AI 데이터센터의 경우, GPU)가 혼잡으로 인해 영향을 받는지를 확인할 수 있는 가시성은 확보되어 있지 않습니다. 이로 인해 성능 문제를 파악하고 해결하는 데 어려움이 따를 수 있습니다. 멀티 트레이닝 작업(multi-training job) 환경에서는 스위치 텔레메트리만으로는 모든 서버의 NIC RoCE v2 통계를 수동으로 확인하지 않고는 혼잡으로 인해 속도가 느려진 트레이닝 작업을 찾는 것이 불가능하며, 이는 실용적이지 않습니다.
이 문제를 해결하기 위해 AI Server SmartNIC에서는 주니퍼 Apstra로 풍부한 RoCE v2 스트리밍 텔레메트리를 통합하고 기존 네트워크 스위치 텔레메트리를 상호 연결하면 성능 문제가 발생할 때 관찰 가능성과 디버깅 워크플로가 크게 향상됩니다. 이러한 상관 관계를 통해 보다 전체적인 네트워크 보기가 가능해지고 AI 서버와 네트워크 동작 간의 관계를 보다 잘 이해할 수 있습니다. 실시간 데이터는 네트워크 성능, 트래픽 패턴, 잠재적인 혼잡 지점, 영향을 받는 엔드포인트에 대한 인사이트를 제공하여 성능 병목 현상과 이상 현상을 식별하는 데 도움이 됩니다.
이 기능은 네트워크 관찰 가능성을 향상시키고, 성능 문제 디버깅을 단순화하며, 폐루프 작업을 수행하여 전반적인 네트워크 성능을 향상시키는 데 도움이 됩니다. 예를 들어, SmartNIC에서 잘못된 패킷을 모니터링하면 스위치의 스마트 로드 밸런싱 기능에서 매개변수를 조정하는 데 도움이 될 수 있습니다. 따라서 엔드 투 엔드 가시성은 사용자가 AI 인프라를 최고 성능으로 운영하는 데 도움이 될 수 있습니다.
그림 3: 네트워크에서부터 SmartNIC까지의 E2E 가시성
제품 방향성 성명서(SOPD). 주니퍼 네트웍스는 미래 제품, 기능 또는 향상에 대한 개발 내용 및 계획과 관련한 정보를 제품 방향성 성명서(SOPD) 또는 기록 계획(“POR”)으로 공개합니다. 제공되는 세부 정보는 주니퍼의 현재 개발 노력과 계획을 기반으로 합니다. 이러한 개발 노력과 계획은 주니퍼의 단독 재량에 따라 사전 통지 없이 변경될 수 있습니다. 주니퍼 네트웍스는 최종 계약에 명시된 경우를 제외하고 본 웹사이트, 프레젠테이션, 회의 또는 출판물에 설명된 제품, 기능 또는 개선 사항의 도입을 보장하지 않으며, POR과 관련하여 발생하는 어떠한 손실에 대해서도 책임을 지지 않습니다. 타사의 구매 결정은 본 POR에 근거해서는 안 되며, 주니퍼 네트웍스가 본 웹사이트, 프레젠테이션, 회의 또는 출판물에 설명된 기능을 제공한다고 해서 구매가 이루어지지는 않습니다.
