DLIO를 사용하여 집중적인 체크포인팅 시나리오에서 드라이브의 처리량, 지연 시간 및 안정성을 측정하려고 했습니다. 이 테스트는 61.44TB D5-P5336에서 수행되었지만, 초기 성능 데이터에 따르면 Solidigm D5-P5336 122TB 버전은 유사한 성능 프로필을 제공합니다. 또한 PCIe Gen5의 이점을 보여주기 위해 TLC 기반 D7-PS1010의 결과도 포함했습니다. 이 두 드라이브를 선택한 이유는 체크포인트에 대한 두 가지 관점을 보여주기 위해서입니다. 하나는 가능한 가장 빠른 체크포인트 시간에 초점을 맞추고, 다른 하나는 단일 SSD에 최대 수의 체크포인트를 저장하는 데 초점을 맞춥니다.

 

이 작업을 위해 선택한 플랫폼은 Ubuntu 22.04.02 LTS를 실행하는 Dell PowerEdge R760이었습니다. 2024년 8월 13일 릴리스의 DLIO 벤치마크 버전 2.0을 사용했습니다. 시스템 구성은 다음과 같습니다.

• 2 x Intel Xeon Gold 6430 (32코어, 2.1GHz)
• 16 x 64GB DDR5-4400
• 480GB Dell BOSS SSD
• 직렬 케이블 Gen5 JBOF
  • 7.68TB Solidigm D7-PS1010
  • 61.44TB Solidigm D5-P5336

벤치마킹이 실제 시나리오를 반영하도록 하기 위해 LLAMA 3.1 405B 모델 아키텍처를 기반으로 테스트를 수행했으며, torch.save()를 통해 체크포인팅을 구현하여 모델 매개변수, 옵티마이저 상태 및 레이어 상태를 캡처했습니다. 설정은 8개 GPU 시스템을 시뮬레이션했으며, 4방향 텐서 병렬 처리와 2방향 파이프라인 병렬 처리를 혼합한 병렬 처리 전략을 8개 GPU에 분산하여 구현했습니다. 이 구성으로 인해 체크포인트 크기는 1,636GB가 되었으며, 이는 최신 대규모 언어 모델 학습 요구 사항을 나타냅니다.

DLIO 체크포인트 워크로드에 대한 테스트 프로세스는 각 드라이브를 유사한 활용 수준으로 채우는 것으로 구성되었습니다. 61.44TB Solidigm D5-P5336의 경우 각 패스에는 33개의 체크포인트 간격이 포함되어 총 54TB였습니다. 더 작은 7.68TB D7-PS1010은 3개의 체크포인트 간격을 편안하게 수용했으며, 총 용량은 4.9TB였습니다. D7-PS1010에 추가 체크포인트 하나를 더 수용할 수 있었지만, 활용도가 약간 더 높아졌습니다.

DLIO 체크포인트 워크로드는 Gen4 QLC 기반 61.44TB D5-P5536과 Gen5 TLC 기반 7.68TB D7-PS1010을 비교했을 때 흥미로운 결과를 가져왔습니다. 첫 번째 패스에서 드라이브가 채워짐에 따라 두 SSD 모델 간의 성능 격차가 더 벌어졌습니다. 더 빠른 Gen5 PS1010은 각 체크포인트를 평균 464초에 완료한 반면, Gen4 P5336은 623초가 걸렸습니다. 두 번째 및 세 번째 패스에서는 격차가 좁혀져 PS1010의 경우 579초와 587초, P5336의 경우 676초와 680초가 되었습니다.

체크포인팅 간격을 가능한 한 작게 유지하려는 비즈니스의 경우 TLC 기반 Gen5 PS1010이 가장 빠른 완료 시간에서 이점을 제공합니다. 많은 체크포인트를 비용 효율적으로 유지하는 것이 목표라면 QLC 기반 Gen4 P5336이 이를 수행할 수 있습니다. 두 드라이브 간의 두 번째 및 세 번째 패스에서 평균 체크포인트 시간 차이는 17% 미만이었습니다.

GPUDirect 스토리지 대역폭

DLIO는 AI 워크플로우에서 플래시 성능을 보여주지만, 워크로드는 체크포인트가 복원될 때까지 전적으로 쓰기 기반입니다. AI 워크로드에서 Solidigm D7-PS1010 및 D5-P5336의 전체 그림을 제공하기 위해 GDSIO를 사용하여 읽기 대역폭 측정을 포함했습니다.

GPU Direct 스토리지 작동 방식

전통적으로 GPU가 NVMe 드라이브에 저장된 데이터를 처리할 때 데이터는 GPU에 도달하기 전에 먼저 CPU와 시스템 메모리를 거쳐야 합니다. 이 프로세스는 CPU가 중간자 역할을 하여 지연 시간을 추가하고 귀중한 시스템 리소스를 소비하므로 병목 현상을 유발합니다. GPU Direct Storage는 GPU가 PCIe 버스를 통해 스토리지 장치에서 직접 데이터에 액세스할 수 있도록 하여 이러한 비효율성을 제거합니다. 이 직접 경로는 데이터 이동과 관련된 오버헤드를 줄여 더 빠르고 효율적인 데이터 전송을 가능하게 합니다.

특히 딥러닝과 관련된 AI 워크로드는 데이터 집약적입니다. 대규모 신경망을 학습하려면 테라바이트의 데이터를 처리해야 하며, 데이터 전송의 지연은 GPU 활용도를 낮추고 학습 시간을 늘릴 수 있습니다. GPU Direct Storage는 데이터가 가능한 한 빨리 GPU에 전달되도록 하여 유휴 시간을 최소화하고 컴퓨팅 효율성을 극대화함으로써 이러한 문제를 해결합니다.

DLIO 테스트와 마찬가지로 고속 Gen5 SSD와 고용량 QLC 드라이브 간의 차이를 더 잘 이해하고 특성화하는 것이 목표입니다. 모든 AI 워크로드가 동일한 것은 아니며, 각 드라이브는 요구 사항에 따라 고유한 이점을 제공합니다.

테스트 구성 매트릭스

NVIDIA L4를 테스트 플랫폼에서 사용하여 다음 매개변수의 모든 조합을 체계적으로 테스트했습니다:

• 블록 크기: 1M, 128K, 64K, 16K, 8K
• 스레드 수: 128, 64, 32, 16, 8, 4, 1
• 작업 수: 16
• 배치 크기: 16

첫 번째로 QLC 기반 D5-P5336을 살펴보았는데, 128의 IO 깊이에서 1M 전송 크기를 사용하여 최대 4.2GiB/s를 기록했습니다. 블록 크기의 효과는 8K에서 1M으로 이동하면서 대역폭을 크게 향상시켰습니다. IO 깊이가 증가함에 따라 32에서 워크로드가 안정되기 시작하면서 이점이 줄어들기 시작했습니다.

다음으로 Gen5 PS-1010을 살펴보겠습니다. 이 드라이브는 1M 블록 크기와 128의 IO 깊이에서 최대 6.2GiB/s까지 확장할 수 있습니다. 전반적으로 Gen4 기반 P5336보다 뛰어난 성능을 보였으며, 특히 특정 워크로드에서는 상당한 향상을 보였습니다. 주목할 만한 개선 영역 중 하나는 128K 블록 크기였으며, 여기서 64 및 128의 IO 깊이에서 PS1010은 P5336의 읽기 대역폭의 두 배를 제공했습니다.

두 SSD 모두 NVIDIA L4를 사용하여 테스트되었다는 점에 유의해야 합니다. Gen4 D5-P5336은 최고 성능에 가깝거나 최고 성능을 내고 있지만, H100과 같은 상위 모델 NVIDIA GPU는 D7-PS1010에서 더 높은 성능을 보였습니다. 드라이브의 속도는 일부 고객에게는 궁극적인 결정 요인이지만, 다른 고객은 전반적인 밀도를 우선시합니다.Solidigm 는 솔루션을 제공합니다 QLC 및 TLC SSD 제품군 모두에 대해.결론

AI 학습의 규모와 복잡성이 계속해서 급증함에 따라 기본 스토리지 인프라는 속도를 따라잡을 뿐만 아니라 템포를 설정해야 합니다. 두 가지 매우 다른 SSD에 대한 테스트는 스토리지 솔루션을 특정 학습 우선 순위에 맞추는 것의 중요성을 강조합니다. 즉, 체크포인트 지연 시간을 최소화하거나 비용 효율적인 확장성을 위해 체크포인트 밀도를 최대화하는 것입니다.