Korean
VAST 데이터 (VAST Data) 는 모델 트레이닝, 추론, 검색 증강 생성 (RAG) 을 실행하는 클라우드 및 엔터프라이즈 플랫폼을 위한 AI 인프라를 발전시키기 위해 AMD와의 파트너십을 확장했습니다.그리고 대행성 인공지능 작업 부하통합 스택은 VAST AI 운영 체제와 6 차 세대 AMD EPYC 프로세서, AMD Instinct GPU, AMD 네트워크 하드웨어 및 ROCm 소프트웨어를 통합합니다.
이 협업은 산업의 큰 변화와 일치합니다. 인공지능 인프라는 훈련만 하는 클러스터를 넘어 지속적인 컨텍스트, 높은 경쟁 추론,그리고 다중 턴 에이전트 작업 흐름현대 인공지능 배포는 효율적인 데이터 이동, 최적화된 KV 캐시 관리, 높은 GPU 활용 및 대규모 모델 및 컨텍스트 데이터 세트에 낮은 지연 접근을 우선 순위로합니다.
VAST의 분산 공유 모든 것 (DASE) 아키텍처는 이러한 현대 AI 환경의 통합 공유 데이터 계층으로 기능합니다. 파일 및 객체 저장, 데이터베이스,이벤트 스트리밍, 및 단일 글로벌 네임스페이스 아래 핵심 데이터 서비스, 동시에 다양한 동시 고객 및 응용 프로그램 작업을 실행하는 AI 클라우드에서 멀티 임대 및 워크로드 고립을 제공합니다.
AMD EPYC 9006 파워즈 다음 세대 VAST 하드웨어
VAST는 VAST AI 운영 체제의 하드웨어 기반을 이루는 6세대 CBox 및 3세대 EBox 시스템을 위해 6세대 AMD EPYC 9006 시리즈 (베니스) 프로세서를 채택하고 있다.EPYC 9006 플랫폼은 PCIe Gen6 연결을 VAST의 하드웨어 라인업에 도입합니다., 1세대 I/O 대역폭을 두 배로 늘립니다.
이 업그레이드는 파일 및 객체 저장 처리량을 증가시키고 VAST 데이터베이스와 데이터 엔진이 지원하는 데이터베이스, 데이터 웨어하우스 및 이벤트 스트리밍 워크로드의 지연 시간을 감소시킵니다.향상된 I/O 대역폭은 컴퓨팅 전체에 있는 병목을 완화합니다., 네트워킹 및 NVMe 스토리지, 모델 로딩, 검색 파이프 라인, 체크 포인트 액세스 및 내성 GPU 메모리 한도를 초과하는 외부 KV 캐시 워크플로우에 혜택을 제공합니다.
AMD 및 DriveNets와 함께 3 플레이어 참조 아키텍처
VAST, AMD 및 DriveNets는 공동으로 AMD의 랙 규모 Helios AI 인프라, VAST AI OS 및 DriveNets AI Fabric 네트워킹을 결합한 통합 AI 인프라 참조 아키텍처를 구축하고 있습니다.이 프레임 워크는 인공지능 훈련에 대한 표준화된 배포 지침을 제공합니다., 추론, 강화 학습 및 KV 캐시 작업 부하공유 데이터 인프라와 고성능 네트워킹을 갖춘 인공지능 공장을 구축하는 기업을 위한 사이즈링 및 가용성 우수 사례 제공.
VAST는 또한 추론 공급업체인 TensorMesh와 EmbeddedLLM와의 생태계 관계를 확장했으며, 에이전틱 AI 사용 사례를 위한 생산 수준의 추론 아키텍처에 초점을 맞추고 있습니다.아직 공개되지 않은 구체적인 통합 및 발사 세부 사항.
높은 동류 추론을 위해 KV 캐시 오프로드 최적화
업데이트 된 협업의 핵심은 향상된 KV 캐시 오프로드이며 AMD Instinct GPU, AMD Infinity Context, ROCm 소프트웨어 및 VAST AI OS를 활용합니다.KV 캐시는 멀티 턴 상호 작용과 긴 컨텍스트 AI 워크로드를 가속화하기 위해 추론 생성 주의 상태 데이터를 저장합니다., 그러나 큰 캐시 크기는 제한된 GPU 메모리를 빠르게 소비합니다.
고성능 공유 스토리지로 KV 캐시를 오프로드하거나 계층화하면 후속 추론 요청에 대한 컨텍스트 데이터를 보존하는 동시에 활성 작업에 GPU 메모리를 자유롭게합니다.AMD Instinct MI355X GPU에 대한 초기 테스트는 9배 더 빠른 첫 번째 토큰 시간 및 9배 더 빠른 토큰 시간.7배 더 높은 토큰 처리량으로 VAST가 구동되는 KV 캐시 오프로드를 통해 높은 동행성 에이전틱 AI 워크로드를 위해 하드웨어 기본 라인, 워크로드 및 스토리지 구성에 따라 성능이 달라집니다.
또한 VAST의 자동화 된 라이프 사이클 정책은 KV 캐시 데이터에 적용되며, 캐시 된 콘텐츠의 예정된 만료 및 삭제개인 또는 규제된 추론 데이터.
펜산도 폴라라 400를 통한 고속 GPU- 스토리지 인터 커넥트
아키텍처는 AMD Pensando Pollara 400 AI NIC를 배포하여 AMD Instinct GPU를 VAST 스토리지 클러스터에 연결합니다. TCP 및 RDMA를 통해 NFS를 지원합니다.NIC는 효율적인 GPU에서 스토리지 데이터 전송을 가능하게 합니다., KV 캐시 및 일반적인 추론 작업 부하를 위해 NVMe 기반 VAST 스토리지에 낮은 지연 시간을 허용합니다.
이 디자인은 컨텍스트 관리 확장 기능을 물리적인 GPU 메모리 제한에서 분리합니다.VAST는 분산 모델 관리를 위한 통합 데이터 및 실행 계층으로 플랫폼을 배치합니다., 데이터베이스, 스트리밍, 파일 자산 및 AI 컨텍스트. AI 클라우드 공급 업체에 대한 구조는 GPU 활용도와 운영 효율성을 높입니다.산업의 대량 교육 및 GPU 임대에서 지속적인 추론 및 에이전틱 AI 서비스에 전환을 지원합니다..
베이징 첸징 지에텐 기술 회사, Ltd
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요