Korean
파리 RAISE 서밋에서 DDN은 유럽의 주권 하이브리드 클라우드 제공업체인 Nebul과의 지속적인 협력을 선보이며 대규모 AI 추론 배포의 효율성을 높이는 데 중점을 두었습니다. 지난주 공개된 이 공동 이니셔티브는 Nebul의 추론 플랫폼, DDN의 Infinia 데이터 인텔리전스 아키텍처, NVIDIA 가속 컴퓨팅을 통합하여 생산 AI의 주요 병목 현상인 추론 워크로드 중 데이터 이동 비용 및 성능 제한을 해결합니다.
DDN은 GPU 활용률, 토큰 처리량, 토큰당 비용, 지연 시간과 같은 중요한 생산 지표를 중심으로 협업을 구성합니다. 모델 학습이 AI 자산 가치를 구축하는 반면, 추론은 운영 및 상업적 수익을 정의합니다. 에이전트 AI, 검색 증강 생성(RAG), 고동시 추론의 채택 증가는 스토리지 및 데이터 인프라가 가속기 효율성과 AI 응답 속도에 직접적인 영향을 미친다는 것을 의미합니다.
이 활발한 개념 증명 프로젝트는 유망한 초기 결과를 가져왔습니다. 파트너들은 KV 캐시가 활성화된 상태에서 첫 토큰까지의 시간(time-to-first-token)에서 측정 가능한 개선을 기록했으며 RoCE 기반 인프라에 대한 검증을 완료했습니다. 현재 진행 중인 벤치마킹은 더 긴 추론 시퀀스 길이를 다루며 Infinia 플랫폼의 추가 최적화 잠재력을 열어줍니다. 이 협력은 또한 벤치마킹 프레임워크, 확장성 검증 및 향후 기술 간행물에 대한 공동 NVIDIA 노력으로 확장됩니다.
통합 플랫폼은 분산 KV 캐시 서비스, GPU 네이티브 데이터 이동, 지능형 데이터 오케스트레이션 및 고성능 스토리지 아키텍처를 활용합니다. KV 캐시 가속은 사전 계산된 어텐션 상태를 보존하고 신속하게 검색하여 중복 계산을 줄이고 GPU 유휴 상태를 유발하는 데이터 전달 지연을 제거함으로써 주목할 만한 추론 이점을 제공합니다.
DDN, Nebul, NVIDIA의 리더들은 AI 인프라 우선순위가 원시 GPU 배포에서 운영 효율성으로 이동하여 기존 가속기 하드웨어에서 수익을 극대화하는 주요 산업 변화를 강조했습니다. DDN CEO Alex Bouzari와 Nebul CEO Arnold Juffer는 과거에 더 큰 모델 규모에 집중했던 것이 이제는 생산 AI를 더 낮은 토큰당 비용으로 상업적으로 실행 가능하게 만들기 위해 추론 경제를 최적화하는 방향으로 바뀌었다고 언급했습니다. NVIDIA Cloud Infrastructure VP Rod Evans는 대규모 에이전트 워크로드가 이제 단순한 컴퓨팅 성능이 아닌 GPU 활용률과 지연 시간으로 인프라 성공을 측정한다고 덧붙였습니다.
DDN은 AI 인프라가 기본 스토리지 기능을 넘어 AI 실행 워크플로우를 적극적으로 지원하도록 진화해야 한다고 강조합니다. 이 회사의 인프라 플랫폼은 현재 전 세계 100만 개 이상의 GPU에 전력을 공급하며 하이퍼스케일러, 클라우드 제공업체, 기업, 정부 및 연구 기관에 서비스를 제공합니다.
현대 AI 인프라 팀은 이제 다음과 같은 핵심 생산 지표를 우선시합니다:
GPU 활용률: 추론 중 효과적인 가속기 활동을 측정하여 고급 GPU 하드웨어의 가치를 극대화합니다.
토큰당 비용: 인프라 성능을 AI 모델 출력 운영 비용과 직접 연결합니다.
와트당 토큰 수: AI 추론 출력의 에너지 효율성을 평가합니다.
첫 토큰까지의 시간: 대화형 AI 애플리케이션의 응답성과 사용자 경험을 결정합니다.
생산까지의 시간: AI 서비스를 테스트에서 확장 가능한 상업적 배포로 마이그레이션하는 운영 노력을 정량화합니다.
추론이 지배적인 AI 워크로드가 됨에 따라, 낮은 안정적인 지연 시간으로 캐시된 컨텍스트와 엔터프라이즈 데이터를 GPU에 제공하는 것이 높은 GPU 활용률을 유지하고 장기적인 운영 비용을 제어하는 데 중요할 것입니다.
베이징 첸싱 지에통 기술 유한회사
Sandy Yang/글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
기술을 사용하여 지능형 세계를 구축하십시오. 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!
Sandy Yang/글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
기술을 사용하여 지능형 세계를 구축하십시오. 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!