Meta와 CXL 기술 공급업체 Panmnesia는 AI 데이터 센터를 독립적인 서버 집합이 아닌, 단일 조정된 처리 리소스로 간주해야 한다고 말합니다.
AI 데이터 센터는 CPU 칩과 같이 단일 일관성 도메인을 가진 긴밀하게 결합된 리소스여야 합니다. 이는 여러 일관성 도메인을 가진 기존의 느슨하게 결합된 요청 기반 엔터프라이즈 데이터 센터와는 다릅니다. AI 데이터 센터는 수백, 심지어 수천 개의 GPU에 걸쳐 단일 작업을 실행할 수 있으며, 이는 조정된 프로세서 코어, 메모리 및 네트워크 링크를 포함하는 고성능 컴퓨팅 워크로드와 대략적으로 유사합니다.
Panmnesia와 Meta는 데이터 센터가 단일 칩처럼 작동하는 차세대 AI 데이터 센터 아키텍처를 공동으로 제안했습니다. 이 연구는 Nature Portfolio 저널인 NREE에 게재되었습니다.
정명수
Panmnesia의 CEO인 정명수 씨는 다음과 같이 말했습니다. “AI 시스템이 계속 확장됨에 따라 대규모 가속기 및 메모리 장치를 빠르고 효율적으로 연결하는 능력은 개별 가속기의 성능만큼 중요해지고 있습니다. 이 연구는 CXL이 전체 데이터 센터를 단일 컴퓨팅 시스템으로 작동할 수 있도록 하는 차세대 AI 인프라 방향을 제시합니다.”
단일 처리 칩의 구성 요소, 코어 등은 단일 일관성 도메인에서 균일한 링크 경로를 갖도록 설계 및 배치되며, 시간 조정 및 제어된 방식으로 작업을 수행합니다. 대조적으로 기존 데이터 센터는 랙 선반에 서버 프로세서와 스토리지를 가지고 있으며, 랙 내 및 랙 간 네트워크 링크와 스위치가 있습니다. 서버 처리가 조정되도록 하는 제어 구조가 없습니다.
칩과 같은 데이터 센터
Panmnesia는 다음과 같이 말합니다. “현재 데이터 센터에서는 랙 내부의 가속기가 빠른 스케일업 인터커넥트로 연결되는 반면, 랙을 벗어나는 연결 및 가속기 이외의 장치에 대한 연결은 느린 스케일아웃 네트워크에 의존합니다. 이러한 환경의 측정 결과는 99번째 백분위수 왕복 지연 시간이 중앙값의 약 5배인 헤비테일 지연 시간 분포를 보여줍니다. 이것이 전체 작업을 방해하는 것이며, 더 많은 장치가 참여할수록 더 자주, 더 심각하게 발생합니다.”
AI 데이터 센터가 효율적이고 신속하게 작동하려면 GPU, 메모리 및 스토리지의 랙 내 및 랙 간 제어 및 조정이 필요합니다. 대규모 AI 인프라에서는 장치 간 지연 시간 변동을 줄여 데이터 센터 전체가 예측 가능하게 작동하도록 하는 것이 개별 장치 성능 또는 링크 속도 향상만큼 중요하다고 말합니다.
Panmnesia LAU
Meta와 Panmnesia는 이를 기반으로 CXL을 사용하고, 새로운 개념을 통해 멀티 GPU 랙 수준에서 작동하도록 제안하고 있습니다. 확장된 CXL은 이들의 구성에서 가속기 랙 간의 캐시 일관성을 제공하며, Nvidia의 랙 규모 NVLink 기반 GB200 NVL72 및 UALink보다 더 많은 장치를 지원합니다.
이는 장치를 함께 연결하는 기본 규칙을 정의하지만 데이터 라우팅 및 지연 시간은 정의하지 않습니다. 그들은 지연 시간 변동을 줄이고 제한하기 위해 세 가지 전용 하드웨어 요소를 제안합니다:
높은 팬아웃 비차단 스위치: 한 번에 많은 장치를 연결하여 홉 수를 줄이고 소스에 관계없이 경로 길이를 유사하게 유지합니다.
링크 가속기 유닛(LAU): 각 연결 지점에서 반복적인 프로토콜 처리를 전용 하드웨어 파이프라인으로 이동시켜 홉 수준 동작을 더 규칙적으로 만들고 지연 시간 변동을 제한합니다.
패브릭 컨트롤러: 전체 시스템에서 요청을 처리하기 위해 동일한 순서 정책을 적용하여 어떤 장치를 통과하든 트랜잭션이 일관되게 처리되도록 합니다.
Panmnesia 고 팬아웃 및 비차단 스위치
패브릭 컨트롤러(결합된 CXL/PCIe 컨트롤러)와 LAU는 실리콘 검증을 완료했으며, 패브릭 스위치는 물리적 실리콘 칩으로 제작되어 사전 출시 실리콘이 현재 공급되고 있습니다. 이는 제안된 아키텍처가 제조 가능한 실리콘 수준에서 유효함을 보여줍니다.
그들의 아키텍처는 CPU, 가속기, 메모리 및 스위치를 기능별로 트레이로 그룹화하고, 트레이를 포드로 그룹화하고, 포드를 패브릭을 통해 연결합니다. 이는 고정 홉, 보다 일관된 통신 경로 및 타이밍을 유지하도록 설계된 정규 트레이-포드-패브릭 계층 구조입니다.
Panmnesia 패브릭 컨트롤러
하나의 CPU가 NVLink-C2C를 통해 두 개의 가속기에 연결되고, 랙 내부는 NVLink로 연결되며, 서버와 랙은 이더넷 또는 InfiniBand와 같은 스케일아웃 네트워크로 연결되는 Nvidia의 설계와 비교하여, 그들의 구성은 다음과 같습니다:
단일 CPU에서 직접 조정되는 가속기 수를 8배 증가시킵니다. 2개에서 16개로
단일 일관성 도메인에서 최대 960개의 가속기를 함께 작동시킬 수 있습니다.
데이터 액세스 지연 시간을 마이크로초 수준에서 수백 나노초로 줄입니다. 약 10배 감소
고장 교체 단위는 서버가 아닌 오작동하는 단일 장치가 됩니다. 리소스를 유형별로 분리하면 시스템이 전체 서버가 아닌 오작동하는 장치만 교체할 수 있어 리소스 낭비와 장기간의 운영 중단을 방지합니다.
Panmnesia는 이미 아키텍처의 핵심 구성 요소를 실리콘으로 구현하고 검증을 완료했으며, 현재 상용 공급을 준비하고 있습니다. 향후 개발에서는 속도와 확장성을 높이기 위해 광학 인터커넥트를 고려하고 있습니다.
부기 노트
NREE 기사 참조가 가능합니다.
베이징 건싱지에통 기술 유한 회사
샌디 양/글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 사용하여 지능형 세계를 구축하십시오” 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!
담당자: Ms. Sandy Yang
전화 번호: 13426366826
Korean
