전체 사양:

델 파워엣지 XE9680 구축 및 설계

파워엣지 XE9680은 높이 10.36인치 (263.20mm), 폭 18.97인치 (482.00mm), 깊이 39.71인치 (1008.77mm) 를 측정하는 인상적인 하드웨어입니다.완전히 충전되면, 무게는 251.44 파운드 (114.05 kg) 이다. GPU 선택은 무게에 대한 마지막 말을 할 것이며, NVIDIA H100 / H200 모델은 238 파운드, AMD MI300X 단위는 251 파운드로 척도를 기울인다.

이 서버는 우리의 테스트 환경에 제대로 로드하기 위해 신중한 생각을 필요로 하는 첫 번째 서버였습니다. 서버 무게와 하드웨어를 저장하는 데 필요한 인원을 고려하면한계를 벗어날 수 있는 여유가 있습니다.하지만 어느 순간, 한두명이 혼자 들어올리는 건 아닙니다. 델은 이 플랫폼이 어떻게 들어올 수 있는지 이해하는데 도움이 되는 ′′리프트 테이블′′를 제공해줍니다.케빈은 XE9680을 직접 차에 넣었습니다..

복잡성과 전문 서비스 기술자를 위한 Dell의 권고에도 불구하고, XE9680는 사용자 친화적인 서비스 요소를 갖추고 있습니다.서버의 패널에는 상세한 서비스 지침과 명확한 그래픽이 포함되어 있습니다.이 시각적 가이드는 시스템과 함께 할 때 귀중한 것으로 판명되었습니다.다양한 부품을 안정적으로 서비스 할 수 있도록.

PowerEdge XE9680의 커버를 열고 나면, 위에 있는 작은 전원 변전소에서 수많은 전력 케이블을 지나가면, PowerEdge R760처럼 보입니다.우리의 단위는 두 개의 인텔 Xeon 플래티넘 8468 프로세서에 의해 작동했습니다각 프로세서는 80개의 PCIe 라인을 제공하며, 이 단위의 PCIe 스위치를 통해 GPU, NIC 및 XE9680에 로드된 다른 하드웨어를 지원합니다.

가장 인상적 인 엔지니어링 기능 중 하나는 PCIe 스위치 보드 (PSB) 디자인입니다. 이 보드는 최대 10 개의 추가 전체 높이의 연결을 제공합니다.반 길이의 PCIe 카드 (이중 2개가 75W 전력 소모를 초과할 수 있다) 를 GPU 베이스보드와 직접 통합한다.이 직접 통합은 GPU-direct 기술을 가능하게 하며, SSD 및 네트워크 카드가 GPU와 직접 통신할 수 있도록 하고, CPU를 우회하고 I/O 집중적인 AI 워크로드의 대기 시간을 줄인다.

각 확장 슬롯은 전체 PCIe Gen5 x16 인터페이스를 지원하며, 레이아웃의 가장 왼쪽과 오른쪽의 아래 슬롯이 포함됩니다. 상위 8 슬롯은 자신의 PSB를 통해 연결되어 있지만,아래쪽 두 슬롯은 PCIe 기본 보드 (PBB) 에 직접 연결됩니다.이 두 슬롯은 또한 고전력 드래그 카드를 지원합니다. 또한 PCIe 레이아웃이 PowerEdge XE9680에 선택된 GPU 유형에 따라 약간 차이가 있음을 유의해야합니다.AMD가 탑재된 모델은 SmartNIC/DPU를 지원하지 않습니다., 그리고 인텔 가우디3 모델은 공기 흐름 문제로 인해 두 개의 슬롯이 차단되어 있습니다.

냉각은 델의 엔지니어링 전문성이 빛나는 또 다른 분야입니다. 시스템은 최대 16개의 고성능 금급 팬을 고용합니다.파워엣지 XE9680는 다양한 설치 시나리오를 지원합니다, 환경 온도가 10 ~ 35C (30C 인텔 Gaudi3 GPU와 함께).

이 견고한 냉각 솔루션은 최적의 운영 온도를 유지하면서 AMD MI300X, 인텔 Gaudi3 또는 NVIDIA H100 GPU를 포함한 가장 까다로운 열 부하를 처리합니다.파워엣지 XE9680는 부하에서 소음 출력 측면에서 상당히 노래델은 다양한 상황에서 XE9680에 대한 완전한 음향 사양을 제공합니다. 하지만 그것은 매우 쉽게 부하 하에서 큰 플랫폼을 말할 것입니다.

관리

XE9680의 관리 기능은 Dell의 기업 검증된 iDRAC9을 기반으로 구축되었으며, 포괄적인 서버 라이프 사이클 관리 및 모니터링을 제공합니다.이 iDRAC의 반복은 인공지능 최적화 기능을 제공합니다., 상세한 GPU 텔레미터, 전력 소비 분석 및 고밀도 AI 워크로드에 설계된 광범위한 열 모니터링을 포함합니다.

이 플랫폼의 관리 스택은 특히 인공지능 인프라 배포에 주목할 만하다. Redfish 지원과 함께 iDRAC9의 RESTful API를 통해조직은 GPU 사용량을 프로그래밍 방식으로 모니터링하고 관리할 수 있습니다., 메모리 대역폭, 열 조건 ∙ 최적의 AI 훈련과 추론 성능을 유지하기 위한 중요한 메트릭.OpenManage Enterprise와의 시스템 통합은 단일 콘솔을 통해 여러 XE9680의 함장 전체 관리이는 대규모 AI 클러스터에 필수적입니다.

보안과 컴플라이언스는 관리 아키텍처의 기본 요소입니다. 플랫폼은 신뢰의 실리콘 루트와 보안 컴포넌트 검증을 구현합니다.부팅부터 운영까지 하드웨어의 무결성을 보장합니다.이러한 기능은 민감한 AI 워크로드를 실행하거나 독점 모델 무게를 처리할 때 특히 중요합니다.

CloudIQ 통합에 의해 지원되는 예측 장애 분석 기능은 작업량에 영향을 미치기 전에 잠재적인 하드웨어 문제를 예측하기 위해 기계 학습을 사용합니다.이러한 선제적 접근 방식은 특히 장기적인 AI 교육 작업에 매우 중요합니다., 예상치 못한 다운타임이 계산 손실의 날로 이어질 수 있습니다. Dell의 ProSupport Plus 서비스와 결합하면 이 예측 기능은 자동 케이스 생성 및 부품 발송을 유발합니다.종종 시스템 손상 전에 예방 유지 보수로 이어집니다..

기존 관리 도구와의 통합이 필요한 조직을 위해 XE9680는 ServiceNow 및 BMC TrueSight,기존 IT 서비스 관리 작업 흐름에 원활한 통합을 허용합니다..

iDRAC9 인터페이스는 직관적 인 대시보드를 통해 중요한 구성 요소에 대한 자세한 실시간 모니터링을 제공합니다. GPU 모니터링은 온도,전력 소비인공지능 작업 부하 분포를 최적화하기 위해 필수적인 모든 8개의 가속기에 대한 활용률.

스토리지 모니터링 인터페이스는 NVMe 배열 전체에서 드라이브 건강, 온도 및 성능 메트릭에 대한 즉각적인 가시성을 제공합니다.특히 높은 처리량 추론 캐시 및 교육 데이터 세트를 관리할 때 유용합니다..

기억력, 저장력, 규모

델 파워엣지 XE9680 내부의 8개의 AMD MI300X GPU는 NVIDIA H200 즈 141GB에 비해 카드당 192GB의 HBM3 메모리를 제공하는 GPU 메모리 용량에서 상당한 도약을 나타냅니다.이 36%의 메모리 용량 증가는 단순히 스펙 셰이트의 숫자가 아닙니다..

이 거대한 메모리 풀은 MI300X의 5.3 TB/s 메모리 대역폭과 함께조직이 더 작은 모델의 여러 인스턴스를 실행하거나 높은 처리량과 낮은 대기 시간을 유지하면서 GPU에 더 큰 모델을 파티션 할 수 있습니다..

이것을 관점으로 볼 때, Meta 즈의 Llama 3.1 405B 모델은 BF16에서 1TB의 VRAM의 북쪽을 필요로 합니다.양자화 없이 MI300X GPU와 전체 128k 컨텍스트 길이를 가진 단일 XE9680에 편리하게 배포될 수 있습니다.이것은 양자화 기술과 관련된 잠재적 인 품질 손실을 제거하고 모델이 두 서버에 분산되는 것과 비교하여 더 많은 토큰 / 초를 허용합니다.

우리의 저장량을 극대화하기 위해, 우리는 Solidigm 61.44TB 드라이브를 사용해서 고도의 GPU 메모리와 전통적인 저장장치 사이의 격차를 메우기 위해SSD는 추론 중에 키-값 캐시 페어를 저장하는 데 탁월합니다., 효과적으로 GPU의 메모리 용량을 확장 긴 맥락 세대. 그들의 거대한 용량과 NVMe 성능은 빠른 모델 무게 접근을 위해 그들을 이상적으로 만듭니다.효율적인 모델 전환 및 따뜻한 시작을 가능하게 하는.

아래에서 자세히 설명하는 Metrum AI 배포와 같은 응용 프로그램에서 SSD는 벡터 데이터베이스의 저장 백엔드로서 이중 기능을 수행합니다.실시간 유사성 검색에 필요한 성능을 제공하면서 광범위한 임베디드 스토리지 용량을 유지합니다..

이러한 고 용량 드라이브의 가치는 교육 워크플로우에 대한 추론을 넘어 확장됩니다. 그들은 큐 훈련 팩을위한 이상적인 로컬 스토리지를 제공합니다.데이터를 컴퓨팅 리소스에 가깝게 유지함으로써 네트워크 오버헤스트를 줄이는 것훈련 도중, 이 드라이브는 모형 체크포인트를 지역적으로 저장하는 데 탁월합니다. 이는 훈련 진행을 유지하고 빠른 회복을 가능하게하는 데 중요합니다.이 로컬 스토리지 전략은 또한 각 처리 계층 및 팩 후에 즉각적인 네트워크 트래픽을 줄임으로써 네트워크 활용을 최적화하는 데 도움이됩니다.

XE9680의 8개의 베이에 걸쳐 61.44TB 용량이 유망한 것처럼 들리지만, 훨씬 더 많은 용량이 다가오고 있습니다.XE의 저장 밀도는 추가 훈련 최적화와 더 오래 지속되는 추론 캐시를 위해 거의 페타바이트로 두 배로 증가 할 수 있습니다..

메트럼 인공지능 의료 보조자

의료 부문은 종종 직접적인 환자 진료에 영향을 미치는 시간이 많이 드는 환자 문서 및 기록 관리에서 지속적으로 도전을 직면합니다.메트럼 AI의 의료 보조원, AMD 가속기와 함께 Dell PowerEdge XE9680 서버에 배포, 첨단 AI 인프라가 의료 업무 흐름을 변화시키는 방법을 예로, 효율성을 향상시키고 환자의 결과를 개선합니다.

이 시스템은 의료 컨텍스트에 대한 이해로 유명한 Llama 3.1 70B Instruct를 기본 언어 모델로 사용합니다. 이것은 복잡한 환자 데이터를 쉽게 처리 할 수 있습니다.이 언어 모델은 gte-v1과 결합되어 있습니다..5 임베디션 모델과 밀버스 벡터 DB, 자연 언어 처리 및 의료 데이터 처리에서 필수적인 맥락적 이해에 대한 견고한 기초를 제공합니다.

메트럼 AI의 헬스케어 어시스턴트에는 또한 히스토패톨로지 이미지 분석을 위한 HistoGPT와 의사 메모를 실시간으로 복사하기 위한 OpenAI의 Whisper를 포함하는 멀티모달 접근 방식이 포함되어 있습니다.함께, 이 모델들은 임상 업무 흐름을 간소화시켜 의사들이 자연스럽게 말할 수 있게 하고, 시스템은 실시간으로 환자 기록에 정보를 기록하고 분류하고 통합합니다.

메트럼 인공지능은 개별 환자 데이터가 상대적으로 작을 수 있지만, 고속 교통 병원의 복합 스토리지 요구량은 수백 테라바이트까지 증가할 수 있다는 것을 인식합니다.Dell PowerEdge XE9680은 이 문제를 해결하기 위해 NVMe 스토리지를 탑재했습니다.. 우리의 구성은 PCIe Gen4 속도에서 작동하는 8개의 2.5 "U.2 NVMe 스토리지 베이를 제공합니다. 61.44TB Soldigim D5-P5336 QLC SSD로 XE9680을 테스트하는 동안이 용량은 더욱 확장 할 수 있습니다.솔디킴은 최근에 새로운 D5-P5336 122를 출시했습니다..88TB QLC 모델의 용량을 두 배로 늘리고 동일한 성능을 유지합니다.

메트럼은 환자들의 데이터가 어떻게 시간이 지남에 따라 다른 시나리오로 변환되는지에 대한 추정치를 제공했습니다최대 용량 SSD를 사용하여 단위가 얼마나 많은 추가 환자를 지원할 수 있는지 볼 수 있습니다환자당 추정된 데이터 발자국을 가지고 각 SSD의 사용 가능한 용량 (57TB의 61TB SSD와 114TB의 122TB SSD) 에 맞게우리는 밀도가 높은 SSD를 가지고 있는 것을 볼 수 있습니다. 그것은 당신이 서버에 저장할 수 있는 것을 크게 증가시킵니다..

초기 1년 추정은 상당히 높은 것으로 보이지만 환자 데이터는 정적이 아니라는 점에 유의해야 합니다. 새로운 데이터가 수집되고 새로운 방문이 예정되므로 저장 수요가 증가합니다.이것은 의료 영상 공간에서 저장소가 중요한 역할을 하는 곳입니다.추가 저장 용량은 솔루션이 얼마나 많은 환자를 효과적으로 지원할 수 있는지에 직접적으로 영향을줍니다.

Dell PowerEdge XE9680, AMD MI300X 가속기를 장착하고 Metrum AI의 헬스케어 어시스턴트와 통합되어 의료 제공자에게 확장 가능하고 효율적인 솔루션을 제공합니다.시간이 많이 걸리는 작업을 자동화하고 중요한 통찰력을 빠르게 이용할 수 있도록 함으로써, 이 설정은 클리닉사가 증가하는 요구를 관리하는 동시에 환자 관리에 더 집중할 수 있습니다. 언어, 이미지 및 음성 모형에 걸쳐 AI 구성 요소의 원활한 통합을 통해,헬스케어 어시스턴트는 인공지능 기반의 의료 솔루션의 중요한 발전을 나타냅니다., 관리 부담을 줄이고 전체 환자 결과를 개선합니다.

결론