MinIO는 AIStor 객체 스토리지 플랫폼 위에 배포된 Nvidia GPU에 맞춰진 페타바이트 규모의 MemKV 캐싱 시스템을 개발했습니다.
추론을 실행하는 GPU 클러스터에는 컨텍스트, 벡터화된 토큰 및 중간 키-값(KV) 쌍을 저장하기 위해 고대역폭 메모리(HBM)가 필요합니다. GPU HBM이 포화되면 데이터는 Nvidia BlueField-4(BF4) DPU에서 관리하는 CPU DRAM 및 NVMe SSD로 계단식으로 내려갑니다. 이러한 계층이 용량에 도달하면 MinIO AIStor가 최종 스토리지 백업 역할을 합니다. Nvidia의 STX 아키텍처는 이러한 다층 캐시 계층 구조를 관리하며 MemKV는 표준을 준수하여 GPU 클러스터 전반에 걸쳐 우수한 규모로 지속적이고 공유된 컨텍스트를 제공합니다.
MinIO의 공동 창립자이자 공동 CEO인 AB Periasamy는 "업계에서는 소규모로 재계산 세금을 흡수할 수 있기 때문에 수년 동안 컨텍스트 손실에 대해 언급해 왔습니다. 오늘날 하이퍼스케일러 및 네오클라우드에 대한 높은 GPU 밀도에서는 이는 더 이상 실행 가능하지 않습니다."라고 말했습니다.
생성된 컨텍스트를 다시 계산하면 전력이 낭비됩니다. 수천 개의 GPU가 포함된 클러스터의 경우 근본적인 구조적 비효율성을 초래합니다. 대규모 추론에는 특별히 구축된 인프라가 필요하며 MemKV는 이 데이터 경로를 위해 특별히 설계되었습니다."
MinIO는 처음으로 추론 워크플로우와 일치하는 마이크로초 수준의 대기 시간으로 전체 GPU 클러스터에 대한 공유 컨텍스트 풀을 활성화하여 기존 외부 스토리지의 밀리초 지연을 방지합니다. 충분한 캐시 계층이 없으면 GPU는 반복적인 컨텍스트 재계산으로 인해 리소스를 낭비합니다.
128K 토큰 컨텍스트 길이의 128-GPU 배포에서 MemKV는 프로덕션 부하에서 첫 번째 토큰까지의 시간을 개선하고 GPU 활용도를 50%에서 90% 이상으로 높여 연간 약 200만 달러의 컴퓨팅 비용을 절감했습니다.
Nvidia STX 아키텍처용으로 특별히 제작된 MemKV는 Nvidia Dynamo 및 NIXL 캐싱 도구를 지원합니다. SSD 수준의 비용으로 페타바이트급 공유 컨텍스트 메모리를 제공하여 GPU 컴퓨팅 리소스에서 캐시 확장을 분리합니다. 핵심 기능은 다음과 같습니다.
-
기본 BF4 STX 지원: 별도의 x86 스토리지 서버가 아닌 스토리지에 내장되어 STX 인프라 내에서 ARM64 바이너리로 실행됩니다.
-
엔드투엔드 RDMA 전송: 기존 파일 및 객체 스토리지 프로토콜을 우회하여 RDMA를 통해 GPU 메모리와 NVMe 간에 KV 캐시를 전송합니다.
-
GPU 최적화 블록 크기: GPU 처리량 요구에 레거시 4KB 스토리지 블록 대신 2~16MB 블록을 사용합니다.
-
유선 속도 성능: Nvidia Spectrum-X 이더넷 및 PCIe Gen6에 최적화되어 물리적 패브릭 처리량을 극대화합니다.
MemKV는 RDMA를 통해 NVMe SSD에서 AI 파이프라인으로 데이터를 직접 전송하여 HTTP 오버헤드, 파일 시스템 변환 및 중간 스토리지 서버를 제거합니다.
MinIO는 경쟁 컨텍스트 메모리 솔루션을 공유 불가능한 로컬 NVMe(G3)와 범용 공유 스토리지(G4)의 두 가지 유형으로 분류합니다. 이는 MemKV를 일반 스토리지 제품과 구별되는 특수 목적의 G3.5 계층으로 포지셔닝합니다.
이 회사는 레거시 공급업체의 G3.5 제품이 여전히 중복 프로토콜 노드, 메타데이터 서비스 및 파일 변환 레이어를 유지하고 있음을 강조합니다. 이러한 레이어는 교육 데이터 및 모델 가중치에 대한 내구성과 일관성을 보장하지만 2~16MB 데이터 블록에 최적화된 임시 재계산 가능한 KV 캐시에는 필요하지 않습니다.
하드웨어 RAID 공급업체인 GRAID와 스토리지 회사인 WEKA도 STX 호환 KV 캐시 솔루션을 제공합니다. Cloudian, Dell, DDN, Everpure, Hammerspace, Hitachi Vantara, HPE, Lightbits/ScaleFlux, NetApp, Nutanix, Peak:AIO, Pliops 및 VAST Data를 포함한 광범위한 스토리지 공급업체가 Nvidia STX를 지원합니다.
베이징 Qianxing Jietong Technology Co., Ltd.
양샌디/글로벌 전략 이사
WhatsApp/위챗: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
사업 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 당사는 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 활용한 지능형 세상 구축” 신뢰할 수 있는 ICT 제품 서비스 제공업체!
귀하의 메시지는 20-3,000 자 사이 여야합니다!
Korean
