Dell PowerEdge NVMe 백플레인 옵션

델은 16G 파워엣지 서버에서 다양한 저장 백플랜을 제공합니다. R760을 구성할 때 거의 50 개의 드라이브 차체 옵션이 있습니다.예를 들어)이것은 E3.S NVMe SSD 지원도 고려하지 않습니다. 이것은 PowerEdge 서버에 Gen5 SSD를 얻을 수있는 유일한 방법입니다. 우리는 E3를 보았습니다.S에 Dell PowerEdge R660 당신이 Gen5와 EDSFF 형태 요소의 이점에 대해 더 많은 것을 배우고 싶다면.

이 리뷰를 위해, 우리는 PERC 12 HWRAID 카드 옵션에 비해 Dell의 직접 드라이브 옵션을 선택의 의미를 이해하고자 합니다. 언급했듯이,여기서 명시적인 초점은 Gen4 U에 대해서만 고려하고 있습니다..2/U.3 NVMe SSD. 현재, 우리는 SATA/SAS 및 3.5 "HDD에 대한 차체 옵션을 무시합니다. 그 구성은 훨씬 더 간단합니다.

R760에서 델은 Gen4 NVMe 드라이브를 탑재하기 위해 몇 가지 차체 옵션을 제공합니다. 직선 드라이브 옵션은 8 또는 16 드라이브 지원으로 구성 될 수 있습니다. HWRAID 구성에 대해델은 PERC 12 HWRAID 카드를 같은 방식으로 제공합니다.이 결정은 8개의 SSD의 각 팩에 한 개의 RAID 카드로 구성되어 있습니다. 16개의 NVMe SSD를 가진 R760이 가능한 최고의 성능을 얻을 수 있도록 하는 데 필수적이기 때문에 중요한 결정입니다.

델 PERC 12 개요

델 파워엣지 RAID 컨트롤러 (PERC) 12는 브로드컴 SAS4116W 실리콘을 기반으로합니다. 제품 이름에 SAS가 있음에도 불구하고 컨트롤러는 3 모드 RAID-on-Chip (ROC) 장치입니다.같은 RAID 컨트롤러는 Broadcom의 MegaRAID 라인에서 사용됩니다.우리는 최근에 메가레이드 9670W를 검토했습니다.필수적인 디자인 차이점들은 어떤 Dell 서버와 저장소 가족에 관심이 있는지에 따라 작용합니다.

파워엣지에 관해서는 대부분의 구성은 H965i 프론트 PERC 12 카드를 활용합니다.8x 솔리디그 P5520 SSD 세트마다 하나씩이 카드는 추가 카드보다 훨씬 작다는 것을 언급 할 가치가 있습니다. PCB 디자인과 열 관리는 정말로 인상적입니다.이 카드는 8 드라이브 NVMe 뒷판에 직접 장착되고 두 x8 PCIe 케이블로 메인보드에 연결됩니다이것은 다른 장치에 대한 서버의 읽기 쪽에서 PCIe 슬롯을 자유롭게합니다.

추가 카드에 대해 이야기하면, 표준 PERC 12 H965i는 탑재 팬을 포함하는 절반 높이의 반 길이의 카드입니다.이 버전의 PERC 12는 일부 PowerEdge 구성에서 나타납니다 그리고 또한 새로운 Dell PowerVault MD JBOD의 일부에서 찾을 수 있습니다마지막으로, H965i MX가 있습니다. MX7000 모듈형 차체와 비슷한 것을 위해 설계된 길고 좁은 PCB입니다.

델 PERC 11 대 PERC 12

델 PERC 11 카드는 NVMe SSD를 지원했지만 불행히도 하드웨어 RAID의 이점은 광범위한 성능 비용으로 왔습니다.그 히트는 바로 업계가 새로운 브로드컴 실리콘과 델의 버전의 카드에 대해 너무 흥분하는 이유입니다델은 PERC 11과 PERC 12의 차이에 대한 몇 가지 숫자를 발표했습니다.

PERC 12의 지연성 혜택은 분명합니다. 하지만 최악의 상황에서의 성능을 보세요. 재구성 중에서의 성능을 보세요. PERC 12는 몇 천%의 개선이 나타납니다.그리고 RAID 재구성 시간에도 상당한 이점을 볼 수 있습니다..

델의 대역폭과 IOPS 숫자를 살펴보면 PERC 12가 PERC 11에 비해 크게 발전했다는 것을 다시 볼 수 있습니다.이 모든 작업 부하는 PERC 12 카드에서 최소 2X 개선물론, 우리는 PERC 12 성능을 확인하기 위해 우리의 테스트를 수행했습니다, 우리는 그것에 도달 할 것입니다.

델 다이렉트 드라이브 대 델 PERC 12 성능

다이렉트 드라이브와 PERC 12의 저장 성능을 비교하기 위해, 우리는 R760 서버 (cousins) 를 Solidigm P5520 7.68TB SSD로 구성했습니다.PERC 12의 R760은 쌍둥이 H965i 프론트 RAID 카드와 함께 16x NVMe 베이를 가지고 있습니다..

명목적 가치에서, 양쪽에서 특정 성능 제한이 있는 것은 분명하지 않을 수도 있습니다. 직접 드라이브 접근 방식을 시작으로, 각 SSD는 자신의 x4 PCIe 연결,8개의 SSD는 32개의 PCIe 전용 노선을 가지고 있습니다..

이것은 믿을 수 없는 대역폭을 가능하게 합니다. 일반적으로 52GB/s가 넘습니다.8개의 SSD의 각 그룹은 RAID 카드와 직접 인터페이스x16 PCIe 연결으로 메인보드에 연결됩니다. 이것은 직접 드라이브 구성에서 지원되는 대역폭을 절반으로 줄입니다. 그래서 분명히, 네이티브 NVMe 연결이 승리합니다.아니지.

멀티 CPU 시스템에서 여러 NVMe 장치를 처리할 때, 드라이브와 CPU 사이의 NUMA 매핑과 시스템 인터럽트는 작용합니다.이 주변에서 최적화 될 수 있지만 상당한 조정이 필요합니다모든 신청은 이것을 고려하지 않습니다.

가상화는 NUMA 매핑을 관리하는 것이 어려운 분야입니다. 공유된 자원이 실시간으로 균형 잡히기 때문입니다.때때로 CPU에 해당 PCIe 리소스에 직접 접근할 수 없는 경우도 있습니다.하드웨어 RAID 카드는 이러한 문제 중 많은 부분을 완화하고 시스템 중단 및 컨텍스트 전환을 최적화하여 CPU 자원을 확보합니다. NUMA 매핑 또한 덜 복잡해집니다.16개의 개별적인 SSD가 2개의 CPU로 나뉘는 대신CPU당 하나의 메모리 카드만 관리할 수 있습니다.

우리의 테스트 계획은 두 가지 영역에 초점을 맞추고 있습니다. 첫 번째는 JBOD 성능을 측정하는 Vdbench 워크로드입니다. 8개의 SSD가 R760로 전달됩니다.HWRAID R760에서, PERC 12는 8개의 RAW 저장 장치를 통과합니다. 둘 다 최적화 없이 그대로 테스트됩니다.테스트의 2 단계는 단일에서 최적화된 듀얼 카드 설정에서 PERC 12 솔루션의 확장 된 성능을 보여줍니다..

우리의 직접 드라이브 PowerEdge R760 검토 단위는 다음과 같은 구성을 가지고 있습니다:

• 듀얼 인텔 Xeon 골드 6430 (32 코어/64 스레드, 1.9GHz 기본)
• 1TB DDR5 램
• 8 솔리디그 P5520 7.68TB Gen4 SSD
• RHEL 9

HWRAID NVMe PowerEdge R760 리뷰 유닛은 다음과 같은 구성을 가지고 있습니다.

• 듀얼 인텔 Xeon 골드 6430 (32 코어/64 스레드, 1.9GHz 기본)
• 1TB DDR5 램
• 16 솔리디그 P5520 7.68TB Gen4 SSD
• 이중 PERC 12 H965i
• RHEL 9

Vdbench 작업 부하 분석

저장장치를 벤치마킹할 때, 응용 테스트가 가장 좋으며, 그 다음 합성 테스트가 필요합니다. 실제 작업 부하의 완벽한 표현이 아니지만,합성 테스트는 경쟁 솔루션의 사과와 사과를 비교하는 것을 쉽게 만드는 반복 요인으로 기본 저장 장치를 지원합니다.이 작업 부하는 다양한 VDI 환경의 캡처를 추적하기 위해 "네 개의 코너" 테스트와 일반적인 데이터베이스 전송 크기 테스트에서 다양한 테스트 프로파일을 제공합니다.

이러한 테스트는 일반적인 Vdbench 워크로드 생성기를 스크립트 엔진으로 활용하여 대규모 컴퓨팅 테스트 클러스터에서 결과를 자동화하고 캡처합니다.이것은 우리가 다양한 저장 장치에서 동일한 작업 부하를 반복 할 수 있습니다플래시 배열 및 개별 저장 장치를 포함하여 Our testing process for these benchmarks fills the entire drive surface with data and then partitions a drive section equal to 25 percent of the drive capacity to simulate how the drive might respond to application workloads이것은 전체 엔트로피 테스트와 다르며 드라이브의 100%를 사용하고 안정 상태로 가져갑니다. 결과적으로이 수치들은 더 높은 지속 된 기록 속도를 반영합니다.

프로파일:

• 4K 무작위 읽기 및 쓰기: 100% 읽기 또는 쓰기, 128개의 스레드, 0~120% iorate
• 64K 순차 읽기: 100% 읽기, 32개의 스레드, 0~120% 이오레이트
• 64K 순차적인 작성: 100% 작성, 16개의 스레드, 0-120% iorate
• 4K 70R/30W 및 90R/10W 랜덤 믹스, 64개의 스레드, 0~120% 이오레이트

읽기 전송 대역폭에 초점을 맞춘 첫 번째 테스트를 살펴보면, 우리는 직접 드라이브 접근 방식이 16 개의 단 하나의 PERC 12에 비해 32 개의 PCIe 경로로 가지고있는 PCIe 채널의 장점을 볼 수 있습니다.41이 됩니다.JBOD 모드에서 PERC 12에서 28GB/s에 비해 Direct Drive에서.6GB/s.

읽기에서 쓰기 대역폭으로 전환하면 Solidigm P5520의 쓰기 속도가 읽기 속도에 비해 낮아짐에 따라 추가 PCIe 전선의 장점이 줄어듭니다.여기 직접 드라이브 구성 측정 18PERC 12의 20.3GB/s에 비해 0.3GB/s입니다.

우리의 무작위 4K 읽기 워크로드에서, Direct Drive PowerEdge R760에 있는 8 Solidigm P5520 SSD는 PERC 12 설비에서 4.34M IOPS에 비해 5.55M IOPS 피크를 측정했습니다.

4K 무작위 기록에서는 그 차이는 다시 좁아집니다. 직접 드라이브는 PERC 12에서 4.15M IOPS에 비해 3.96M IOPS를 측정합니다.

두 개의 혼합 작업 중 첫 번째에서, 우리는 70/30 읽기 / 쓰기 확산과 함께 4K 무작위 전송을보고 있습니다. 여기 직접 드라이브 파워엣지 R760 구성은 4.47M IOPS 정점을 측정,PERC 12와 3에 비해.66M IOPS

같은 4K 전송 테스트에서 읽기 비율을 90%로 높였을 때, 우리는 PERC 12 시스템에서 3.62M IOPS에 비해 Direct Drives 서버에서 5.04M IOPS를 측정했습니다.

FIO 작업 부하 분석

델의 디렉트 드라이브와 PERC 12 HWRAID 제공의 드라이브의 성능을 측정하기 위해 기준은 다음과 같은 구성으로 나뉘었습니다.첫 번째는 JBOD 구성을 포함하고 RAID 외부의 각 드라이브를 측정합니다., RAID10, 그리고 RAID5 구성.

다이렉트 드라이브 방식에서는 SSD가 OS에 정상적으로 표시되며 PERC 12에서는 HBA를 통해 원료 저장 장치로 전달됩니다.이 구성은 플래시를 미리 조건화하기 위해 스크립트 과정을 거쳤습니다., 그들이 조건화 된 테스트를 실행하고 다음 사전 조건화 / 작업 부하 혼합으로 이동합니다.

• 순차적 사전 조건화
• JBOD, 8DR10, 8DR5 (단기 및 듀얼 PERC) 에 대한 연속 테스트
• 무작위 선조화
• JBOD, 8DR10, 8DR5 (단기 및 듀얼 PERC) 에 대한 무작위 최적 테스트
• 8DR10, 8DR5 (단기 및 듀얼 PERC) 에 대한 무작위 재구성 테스트
• 8DR5 (Single PERC) 에 최적의 기록 지연 및 재구성을 위해 무작위 기록 지연

PERC 12 H965i는 x16 PCIe Gen4 슬롯을 가지고 있으며, 한 방향으로 최고 성능은 28GB/s 정도이며 Gen4 슬롯이 가장 뛰어난 곳이다.델은 이 대역폭 제한에 대해 독특한 접근 방식을 취하여 그들의 파워엣지 R760에서 듀얼 PERC 12 구성을 제공했습니다.16개의 SSD 배가 하나의 카드에 연결되는 대신, 부하는 분산되어, 각 PERC 12는 8개의 SSD의 자체 세트를 제어합니다.이 접근 방식은 대역폭 제한을 방치하면서 요구되는 작업 부하에서 최고 사용 가능한 처리량을 크게 증가시킵니다..

우선 순위 전송 성능을 살펴보면, 우리는 직접 드라이브 구성이 가지고 있는 대역폭 장점을 볼 수 있습니다. 읽기 속도가 54를 측정합니다.4GB/s 단 하나의 PERC 12 측정 28.1GB/s. 기록 속도는 네이티브 또한 장점을 가지고 있습니다. 단 하나의 PERC 12에서 8개의 드라이브를 가진 28.3GB/s에 비해 33.4GB/s를 측정합니다. 일반적으로 기록 속도는큰 차이를 볼 수 없습니다일반적으로 이 SSD의 읽기 속도는 쓰기 속도를 훨씬 초과합니다.

무작위 전송 성능에 초점을 돌리면 NUMA 밸런싱과 관련하여 RAID 카드의 장점이 나타날 수있는 지점에 변화를 보이기 시작합니다. 읽기 성능으로 Solidigm 7은68TB P5520 SSD 측정 7.96M IOPS는 PERC 12 JBOD 구성으로 7M IOPS를 측정하는 4K 읽기 테스트에서 기록 속도가 Direct Drives 구성으로 3.4M IOPS로 떨어졌으며 PERC 12은 5.97M IOPS를 유지했습니다.4K OLTP 작업량으로, 이것은 PERC 12에서 10.2M IOPS 대 3.6M IOPS를 측정하는 직접 드라이브에서 더욱 두드러집니다.

전통적인 사고는 하드웨어 RAID가 현대 SSD에 가치가 없다는 것이었지만, 더 이상 그렇지 않다는 것을 볼 수 있습니다.하지만 그것은 2개의 CPU를 통해 균형 잡힌 여러 SSD를 통해 움직이는 목표입니다.

이것은 PERC 12 HWRAID 카드와 직접적인 대조입니다. 이 모든 복잡성을 관리하고델 파워엣지 R760의 2 PERC 카드는 다른 CPU에 연결이 두 디스크 그룹에 분산된 더 큰 작업 부하에 대한 균형을 제공합니다. 10M IOPS 주위에서 시스템이 CPU를 포화하기 시작했음을 유의해야합니다.그래서 우리는 추가 PERC 12 카드와 함께 일부 지역에서 선형적인 스케일링을 보지 못했습니다..

우리는 Direct Drives PowerEdge R760 구성과 함께 소프트웨어 RAID 옵션을 보지 않았지만, 우리는 손상 상태에서 PERC 12에서 RAID 구성이 얼마나 잘 수행하는지 볼 수있는 기회를 가졌습니다.성능은 최적의 성능에 비해, RAID10 및 RAID5 모두 RAID 그룹을 재구성하는 동안 강력한 성능을 제공했습니다.

최적의 RAID 성능은 저장 솔루션을 선택하는 중요한 측면이지만,우리는 최적의 조건에서 RAID5에서 4K 쓰기 지연을 측정만약 성능이나 지연이 큰 타격을 입으면, 애플리케이션 반응성이 문제가 될 수 있습니다.재구성 성능이 최적의 성능에 비해 감소하는 동안, 성능의 지연은 기준보다 증가하지 않습니다.

마지막 생각

델의 새로운 PERC12 NVMe RAID 카드는 파워엣지 서버의 NVMe 저장 옵션에 대한 게임을 변화시킵니다.일부 고객은 SAS SSD에서 전환하는 것을 주저하거나 다양한 SDS 또는 하이퍼바이저에 연결된 NVMe 드라이브를 선택했습니다.그러나 PERC 12 카드의 도입은 파워엣지의 방정식을 변경하여 더 실행 가능한 옵션으로 만들었습니다.

PERC 12의 성능은 PowerEdge 서버의 레이아웃에 기인한다. 우리의 R760에는 각각 x16 레인이 있는 두 개의 PERC 12 (H965i Front) 카드가 있다.이것은 우리가 각 카드와 함께 8 Solidigm SSD를 활용 할 수 있습니다, 최대 대역폭은 카드당 최대 28GB/s입니다. 모든 16개의 SSD를 하나의 RAID 카드에 연결하면 잠재적 성능의 절반을 잃게됩니다.

HWRAID가 있는 24개의 SSD가 왜 안되는지 물어볼 수도 있겠죠. 모든 시스템에는 어딘가에서 병목이 있다는 것을 기억하세요. 이 경우 우리는 CPU를 꽤 쉽게 포화시킬 수 있습니다.그래서 서버 안의 x86은 게팅 인수가 됩니다.만약 우리가 클러스터화된 솔루션에 대해 이야기한다면, 우리는 또한 네트워크를 연결할 것입니다. 소수의 SSD는 쉽게 200GbE 또는 400GbE를 채울 수 있습니다.또한 시스템 용량 문제로 서버가 드라이브로 가득한 것도 필요 없습니다..

브로드컴 9600시리즈 RAID 카드 리뷰를 읽으면우리는 새로운 실리콘이 현실적으로 모든 데이터 탄력성을 제공하고 NVMe SSD 성능 프로파일을 손상시키지 않고 HWRAID의 장점을 재구성 할 것이라고 매우 회의적으로 시작했습니다우리는 그 리뷰의 결과와 더 이상이 더 놀라운, PERC 12는 R760에서 두 배 더 많은 상위 라인 성능을 얻을 수 있습니다.델 다이렉트 드라이브는 여전히 많은 사용 경우에 선호 될 수 있지만, 소프트웨어 정의 저장소와 마찬가지로, PERC 12 옵션은 대부분의 기업 사용 사례에 매우 인기가 있어야합니다.

베이징 첸징 지에텐 기술 회사, Ltd
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com

비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요