회사 소식 NetApp, DataPelago를 인수하여 풀스택 AI 데이터 인프라 제공업체로 변신

핵심 데이터 실행 흐름

1프레임워크 커넥터를 통한 데이터 액세스: 표준 데이터 커넥터와 호환되는 Spark JAR 플러그인으로 배포되며, S3, GCS를 포함한 Parquet, ORC, Iceberg, Delta Lake, JSON 및 저장 목표를 지원합니다.,ADLS, HDFS 및 온프레임 배열. 표준 엔진 I/O 레이어를 통해 네이티브 쿼리 시맨틱을 유지하면서 스토리지 통합까지 가속이 확장됩니다.

2쿼리 계획 및 최적화: 호스트 엔진은 물리적 계획을 생성합니다. 데이터 앱은 그것을 글루텐 / 서브스트라이트를 통해 중간 표현으로 변환합니다.지능형 최적화는 최적의 데이터 흐름 그래프를 만들고 DataOS/DataVM 실행에 CPU/GPU 자원을 할당합니다.

3크로스 하드웨어 데이터 전송 최적화: 운영자 / 커널 융합 및 스트리밍 실행은 I / O 오버헤드를 줄이기 위해 전체 중간 물질화를 제거합니다.제로 복사 공유 메모리는 CPU-GPU 데이터 중복을 줄인다, DataVM의 ISA는 LLVM, CUDA 및 ROCm를 활용하여 기둥형 벡터화 처리를 통해 최적의 하드웨어로 작업을 라우팅합니다.이 트위크는 크로스 도메인 데이터 셔플링을 최소화함으로써 GPU 사용량을 80~90%로 끌어올립니다..

핵심 차이점: 핵 대 KV 캐시 대 NetApp AIDE

1.핵 및 KV 캐시 차별화: 핵은 데이터가 GPU 서버에 도달하기 전에 사전 추론 데이터 섭취, 변환 및 질의를 최적화합니다.Nvidia의 KV 캐시는 토큰 생성 효율성을 높이기 위해 GPU 하드웨어에 데이터 도착 후만 활성화되는 GPU 내 메모리 최적화입니다.. 핵은 컴퓨팅에 데이터를 전송하는 속도를 높이고, KV 캐시는 데이터가 가속기에 착륙한 후 모델 실행 시간을 최적화합니다.

2.NetApp AIDE vs Nucleus UDPE: AIDE는 LLM 및 에이전트를 위한 ONTAP/AFX로 잠겨있는 AI 사전처리이며, 내장된 벡터 데이터베이스, 메타데이터 카탈로그,RAG 서비스 및 Nvidia AI 엔터프라이즈 통합 (NIM 벡터화 마이크로 서비스 포함). 핵은 저장에 무관하며 일반 스파크/트리노 워크로드를 가속화합니다. AIDE와 핵을 통합하면 변환, 훈련, 정밀 조정 및 추론 파이프 라인을 강화 할 것입니다.NetApp AFX 스토리지에 직접 가속 Lakehouse 작업 부하를 가능하게· AIDE+Nucleus의 종합 솔루션이 예상될 수 있습니다.