회사 소식 하이퍼 스케일 인공지능 데이터 센터를 위한 Huawei의 OceanStor KV 캐시 스토리지

화웨이는 자사의 Atlas 960 SuperPoD를 위한 64PB KV 캐시 기본 계층을 제공하는 스케일 아웃, 올플래시 스토리지 클러스터인 OceanStor M900을 발표했습니다. 이는 Nvidia의 SuperPOD와 유사한 랙 스케일 AI 가속기입니다.

Nvidia는 GPU, BlueField NIC, Spectrum-X 스위치 및 AI 소프트웨어를 스토리지 시스템과 통합하는 참조 설계를 정의했으며, Dynamo 소프트웨어 및 CMX 스킴을 통해 GPUDirect, RDMA 및 KV 캐시 확장을 지원합니다. 이 다중 계층 아키텍처는 GPU의 고대역폭 메모리(HBM)를 가장 빠른 최상위 계층으로 사용하고, 이어서 관련 X86 서버의 DRAM을 레벨 2로, 서버의 로컬 SSD를 L3로, 그리고 플래시 스토리지 서버 내의 지능형 BlueField-4 NIC 연결 NVMe SSD를 L3.5로 사용합니다. 이는 마이크로초급 지연 시간으로 단일 네트워크 홉에서 GPU의 HBM에 도달할 수 있습니다.

화웨이는 이제 하이퍼스케일 AI 데이터 센터를 위해 구축된 자체 SuperPoD로 Nvidia의 SuperPOD 설계를 도전하고 있습니다. 이 시스템은 10조 개의 매개변수 모델과 백만 개 이상의 토큰 컨텍스트 창을 대상으로 하므로, 단일 가속기의 고대역폭 메모리로는 필요한 모든 키-값 토큰을 보유할 수 없어 캐싱 메커니즘이 필요합니다.

이 회사는 하나의 Atlas 960E SuperPoD가 최대 4,096개의 NPU(신경 처리 장치)로 확장될 수 있으며, 8 EFLOPS의 FP8 컴퓨팅 성능, 최대 1 페타바이트의 HBM 용량 및 256TB의 통합 메모리 풀을 제공한다고 밝혔습니다. 통합 버스(NPO)가 장착된 5,500개의 Hi-ONE 유닛을 배포하면, 모든 NPU를 상호 연결하는 데 전통적으로 필요한 48,000개의 800G 광 모듈에 비해 전력 소비가 550킬로와트 이상 절감됩니다. 또한 시스템의 무고장 작동 시간을 두 배로 늘리고 시스템 가용성을 99.8%까지 달성합니다.

화웨이 OceanStor M900
SuperPoD는 다중 계층 KV 캐싱 프레임워크를 채택하며, 여기서 M900은 L3.5 계층에 페타바이트 규모의 KV 캐시를 공급합니다. 각 클러스터는 이 계층에 대해 광 네트워킹을 통해 최대 4PB의 공유 L3.5 KV 캐시 용량과 40TB/초의 집계 대역폭을 제공하며, NPU당 수 테라바이트의 KV 캐시 용량을 제공합니다. 화웨이는 일반적인 AI 추론 워크로드에서 이 아키텍처가 추론 클러스터의 토큰 처리량을 두 배로 늘리고 첫 번째 토큰까지의 시간(TTFT)을 절반으로 줄인다고 주장합니다.

이 회사는 40TB/초의 대역폭이 경쟁 솔루션보다 1.5배 높다고 언급했지만, 명시적으로 공급업체를 언급하지는 않았습니다. 이는 일반적으로 클러스터 대역폭이 10~25TB/초 범위인 DDN, Everpure, IBM(Storage Scale), MinIO 및 VAST Data 시스템을 지칭하는 것으로 이해됩니다.

M900은 CPU, 네트워크 컨트롤러 및 NAND 컨트롤러를 하나의 유닛으로 결합한 통합 설계를 특징으로 하여, SuperPoD NPU가 SSD에 직접적인 단일 홉 링크를 설정할 수 있습니다. 이는 액세스 지연 시간을 밀리초에서 약 60마이크로초로 줄입니다.

데이비드 왕, 화웨이 부회장 겸 순환 회장은 다음과 같이 말했습니다. "OceanStor M900은 또한 하이브리드 미디어와 최적화된 유지 알고리즘을 사용하여 SSD의 읽기/쓰기 수명을 16배 연장합니다. 이는 높은 KV 캐시 히트율과 함께 처음부터 장기적인 안정성과 신뢰성을 보장합니다."

더 자세한 내용에서 화웨이는 M900이 KV 인식 적응형 스토리지 기술을 특징으로 하며, 이는 KV 캐시 데이터의 각 세그먼트의 예상 수명과 가치를 예측한다고 밝혔습니다. 이러한 예측을 기반으로 온칩 메모리, DRAM 및 SSD와 같은 다양한 미디어 계층에 데이터를 예약하고 분산합니다. 화웨이는 이러한 최적화된 배치 및 유지 전략을 통해 SSD가 하루에 최대 24번의 드라이브 쓰기(DWPD)를 유지할 수 있으며, 이는 매우 높은 수치이며 SSD 내구성을 16배 향상시켜 드라이브 교체 횟수를 줄이면서 3년간 안정적인 작동을 지원한다고 말했습니다.

화웨이가 M900 데이터시트 및 기술 브리핑을 공개하기에는 아직 이르기 때문에, 노드 랙 유닛 크기, 컨트롤러, 드라이브 수량 및 용량, 클러스터 노드 수 및 기타 사양과 같은 세부 정보는 아직 사용할 수 없습니다.

NPU 각주
NPU는 화웨이의 Ascend 신경 처리 장치로, 화웨이에 따르면 그래픽 칩으로 시작된 GPU와 달리 네이티브로 AI를 위해 구축되었습니다. 이들은 큐브(행렬) 코어와 벡터 코어를 갖춘 화웨이의 Da Vinci 아키텍처를 채택하고, FP8 및 FP4를 포함한 저정밀도 형식을 지원하여 대규모 모델의 추론 및 학습을 가속화합니다. 화웨이의 UnifiedBus 올 광학 상호 연결을 통해 대규모 시스템으로 조립될 때, 수천 또는 수십만 개의 NPU가 하나의 논리적 기계로 작동하도록 확장될 수 있습니다. Atlas 350(Ascend 950PR 사용)과 곧 출시될 Atlas 960 SuperPoD와 같은 최근 제품은 중국 시장에서 Nvidia GPU의 대안으로 포지셔닝됩니다.

베이징 첸싱 지에통 기술 유한 회사
샌디 양 / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
"기술을 사용하여 지능형 세계를 구축하십시오" 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!