Korean
DeepInfra가 토론토에 새로운 AI 데이터 센터를 공식 출시했습니다. 이는 미국 외 첫 해외 진출이자 전 세계 9번째 시설입니다. 7월 8일에 공개된 이 새로운 사이트는 AI 수요가 모델 훈련에서 상업적 추론 워크로드로 전환되는 업계 전반의 추세 속에서 DeepInfra의 글로벌 추론 인프라 발자국을 확장합니다.
토론토 데이터 센터는 1.7MW의 전력 용량을 갖추고 있으며 1,000개 이상의 NVIDIA Blackwell B300 GPU를 수용할 예정입니다. 완전 가동 시 새로운 컴퓨팅 클러스터는 DeepInfra의 글로벌 추론 규모를 증대시키고 캐나다 및 기타 글로벌 지역의 최종 사용자에게 네트워크 지연 시간을 줄여줄 것입니다.
이 확장은 명확한 업계 전반의 전환과 일치합니다. 기업들이 생성형 AI 도구의 생산 출시를 가속화함에 따라 데이터 센터 인프라 수요는 훈련 작업보다는 추론 워크로드에 점점 더 집중되고 있습니다. 대규모 언어 모델 추론은 대화형 애플리케이션, 지능형 AI 에이전트 및 고처리량 API 서비스를 지원하기 위해 일관된 GPU 가용성, 저지연 네트워킹 및 지리적으로 분산된 인프라를 필요로 합니다. 발표에서 언급된 McKinsey & Company의 연구에 따르면, 추론 워크로드는 2030년까지 전체 데이터 센터 수요의 40%를 초과할 것이며, 연평균 복합 성장률은 35%입니다.
DeepInfra는 토론토 배치가 이러한 진화하는 요구를 충족하기 위해 특별히 구축되었으며, GPU 컴퓨팅 리소스를 최종 사용자 및 로컬 데이터 소스에 더 가깝게 배치하는 동시에 플랫폼의 전반적인 처리량을 확장한다고 밝혔습니다. 이 회사는 200개 이상의 오픈 소스 AI 모델을 지원하는 전체 GPU 인프라 스택을 독립적으로 소유하고 운영합니다. 관리형 추론 플랫폼은 오픈 및 독점 모델 배포를 모두 포함하여 주당 거의 5조 개의 토큰을 처리합니다.
이번 출시는 또한 최신 추론 인프라를 위한 NVIDIA의 Blackwell 아키텍처에 대한 업계의 증가하는 채택을 강조합니다. 이전 Hopper 세대 하드웨어에 비해 Blackwell GPU는 대규모 언어 모델 및 멀티모달 AI 워크로드에 대해 향상된 추론 처리량과 더 나은 에너지 효율성을 제공합니다. DeepInfra는 네트워킹 및 스토리지 아키텍처에 대한 추가 세부 정보를 공개하지 않았지만, 이 정도 규모의 대규모 배포는 일반적으로 GPU 활용도를 최대한 유지하기 위해 고대역폭 상호 연결 및 분산 스토리지를 활용합니다.
DeepInfra의 CEO이자 공동 창립자인 Nikola Borisov가 언급했듯이, 기업 AI는 실험적 시도에서 대규모 생산 출시로 전환되었으며, 이는 저지연 및 확장 가능한 추론 기능을 갖춘 글로벌 분산 인프라에 대한 수요를 증가시키고 있습니다. 그는 토론토 클러스터가 미국 국경을 넘어선 회사의 첫 국제 확장을 표시하며, 글로벌 고객 및 해당 데이터 세트에 근접한 컴퓨팅 리소스를 배치한다고 설명했습니다.
토론토 시설은 DeepInfra의 최근 시리즈 B 자금 조달 라운드에 이어 출시되었으며, 장기적인 인프라 확장 로드맵의 핵심 부분을 구성합니다. 이 회사는 GPU 기반 추론 서비스에 대한 증가하는 시장 수요를 충족하기 위해 추가적인 국제 데이터 센터 부지를 평가하고 있다고 확인했습니다.
베이징 첸싱 지에통 기술 유한회사
Sandy Yang / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 사용하여 지능형 세계를 구축하십시오” 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!
Sandy Yang / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 사용하여 지능형 세계를 구축하십시오” 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!