"맞춤형" Dell PowerEdge R760 서버

속담에 따르면 세 번째가 매력입니다. 파이 기록을 깨는 것은 이번이 처음이 아닙니다. 첫 두 번의 반복에서 얻은 교훈을 바탕으로 최고의 파이 플랫폼을 구축했습니다. 첫 번째 빌드는 16개의 NVMe 베이와 세 개의 내부 SSD 슬레드를 갖춘 2U 서버를 활용했습니다. 30.72TB Solidigm P5316 SSD를 사용하여 y-cruncher의 스왑 스토리지를 포함했지만, 출력 파일에 대해서는 HDD 기반 스토리지 서버를 활용해야 했습니다. 특히 쓰기 단계가 끝날 때 최적이 아니었습니다. 두 번째 플랫폼은 동일한 서버를 사용했으며, 외부 NVMe JBOF를 연결하여 추가 NVMe 베이를 확보했지만, 민감한 케이블링과 불균형한 성능이 희생되었습니다. 두 플랫폼 모두 추가 전력과 추가 실패 지점을 희생하면서 y-cruncher 실행 전체에 걸쳐 외부 하드웨어에 의존해야 한다는 단점이 있었습니다.

이번 실행에서는 단일 서버에 모든 직접 NVMe를 활용하고 y-cruncher 스왑 스토리지 및 출력 스토리지를 위한 충분한 공간을 한 지붕 아래에 두고 싶었습니다. 24베이 NVMe 직접 드라이브 백플레인을 갖춘 Dell PowerEdge R760이 등장했습니다. 이 플랫폼은 내부 PCIe 스위치를 활용하여 모든 NVMe 드라이브가 추가 하드웨어 또는 RAID 장치 없이 서버와 동시에 통신하도록 합니다. 그런 다음 실험실 환경의 여러 R760에서 PCIe 라이저 구성을 조립하여 추가 U.2 장착 NVMe SSD를 위한 후면의 네 개의 PCIe 슬롯을 확보했습니다. 또 다른 R760에서 더 큰 방열판을 가져와 터보 부스트 헤드룸을 최대한 확보한 것이 보너스였습니다. 직접 액체 냉각은 이번 실행에 구현되기에는 한 달 늦게 실험실에 도착했습니다.

Intel의 5세대 Intel Xeon 프로세서를 사용하여 202조 자리 이상의 파이를 계산한 StorageReview 연구소 팀의 계산은 이러한 CPU의 성능과 효율성을 강조합니다. 5세대 Xeon 프로세서의 증가된 코어 수와 고급 성능 기능을 활용하여 이 이정표는 컴퓨팅 수학에서 새로운 기준을 설정하고 다양한 과학 및 엔지니어링 워크로드에 대한 혁신을 계속해서 길을 열고 있습니다.라고 Intel의 5세대 Intel Xeon 프로세서 제품 총괄 책임자인 Suzi Jewett가 말했습니다.^{사용된 하드웨어}전원 공급 장치 크기도 이 실행에 중요했습니다. 대부분은 CPU가 가장 많은 전력을 소비한다고 즉시 생각하겠지만, 한 지붕 아래에 28개의 NVMe SSD를 갖는 것은 상당한 전력 영향을 미칩니다. 저희 빌드는 2400W PSU를 활용했으며, 결과적으로 간신히 작동했습니다. 전력 소모량이 거의 임계값에 가까운 몇 번의 순간이 있었는데, 시스템이 전원 공급 장치 연결 하나를 끊으면 전력이 부족했을 것입니다. 이것은 초기에 발생했으며, CPU 부하가 최고조에 달하고 시스템이 모든 SSD에 대한 I/O 활동을 증가시키면서 전력 소비가 급증했습니다. 다시 해야 한다면 2800W 모델이 선호되었을 것입니다.^{사용된 하드웨어}기술 하이라이트계산된 총 자릿수: 202,112,290,000,000^{사용된 하드웨어}: 2x Intel Xeon 8592+ CPU, 1TB DDR5 DRAM, 28x Solidigm 61.44TB P5336가 장착된 Dell PowerEdge R760

소프트웨어 및 알고리즘

: y-cruncher v0.8.3.9532-d2, Chudnovsky

데이터 스토리지

: 드라이브당 3.76PB 쓰기, 스왑 배열의 22개 디스크에 걸쳐 82.7PB

• 계산 기간: 100.673일
• y-cruncher 원격 측정논리적 최대 체크포인트: 305,175,690,291,376 (278 TiB)
• 논리적 최대 디스크 사용량: 1,053,227,481,637,440 (958 TiB)논리적 디스크 읽기 바이트: 102,614,191,450,271,272 (91.1 PiB)
• 논리적 디스크 쓰기 바이트: 88,784,496,475,376,328 (78.9 PiB)시작 날짜: 2024년 2월 6일 화요일 16:09:07
• 종료 날짜: 2024년 5월 20일 월요일 05:43:16파이: 7,272,017.696초, 84.167일

총 계산 시간: 8,698,188.428초, 100.673일

• 시작부터 끝까지 실제 시간: 8,944,449.095초, 103.524일
• 파이의 가장 큰 알려진 자릿수는 2이며, 위치는 202,112,290,000,000 (202조 1122억 9천만)입니다.
• 더 넓은 의미
• 파이를 그렇게 많은 자릿수로 계산하는 것은 추상적인 도전처럼 보일 수 있지만, 이 프로젝트 동안 개발된 실용적인 응용 프로그램과 기술은 광범위한 영향을 미칩니다. 이러한 발전은 암호학부터 물리학 및 엔지니어링의 복잡한 시뮬레이션에 이르기까지 다양한 계산 작업을 향상시킬 수 있습니다.
• 최근 202조 자리 파이 계산은 스토리지 밀도와 총 소유 비용(TCO)의 상당한 발전을 강조합니다. 저희 설정은 단일 2U 섀시 내에서 놀라운 1.720 페타바이트의 NVMe SSD 스토리지를 달성했습니다. 이 밀도는 총 전력 소비량이 전체 CPU 및 드라이브 부하에서 최대 2.4kW에 불과했다는 점을 고려할 때 데이터 스토리지 기능의 도약을 나타냅니다.
• 이 에너지 효율성은 훨씬 더 많은 전력을 소비하고 과도한 열을 발생하는 전통적인 HPC 기록 실행과 대조됩니다. 저용량 공유 스토리지를 확장해야 하는 경우 확장 스토리지 시스템을 위한 추가 노드를 고려하면 전력 소비가 기하급수적으로 증가합니다. 고밀도 로컬 스토리지와 비교할 때. 열 관리는 특히 소규모 데이터 센터 및 서버 캐비닛에 중요합니다. 전통적인 HPC 기록 시스템을 냉각하는 것은 장비 자체보다 더 많은 전력을 소비할 수 있는 데이터 센터 냉각 장치가 필요한 간단한 작업이 아닙니다. 전력 소비와 열 출력을 최소화함으로써 저희 설정은 소규모 비즈니스를 위한 보다 지속 가능하고 관리 가능한 솔루션을 제공합니다. 보너스로, 저희 실행의 대부분은 신선한 공기 냉각으로 수행되었습니다.
• 이를 이해하기 위해 네트워크 공유 스토리지와 최적화되지 않은 플랫폼으로 실행하는 사람들이 직면하는 어려움을 상상해 보십시오. 이러한 설정은 온도를 유지하기 위해 하나 이상의 데이터 센터 냉각 장치가 필요합니다. 이러한 환경에서는 절약된 모든 와트가 필요한 냉각 감소와 운영 비용 절감으로 이어지므로 고밀도, 저전력 접근 방식이 이상적인 선택입니다. 기록 실행을 위해 간결하고 효율적인 플랫폼을 실행하는 또 다른 중요한 이점은 배터리 백업 하드웨어를 사용하여 전체 설정을 보호하는 것입니다. 앞서 언급했듯이, 1년의 상당 부분을 유지하기 위해 컴퓨팅 서버, 스위칭, 스토리지 서버, 냉각 장치 및 펌프에 대한 배터리 백업이 필요합니다.
• 전반적으로 이 기록적인 성과는 현재 HPC 기술의 잠재력을 보여주며 현대 컴퓨팅 환경에서 에너지 효율성과 열 관리의 중요성을 강조합니다.
• 정확성 보장: Bailey–Borwein–Plouffe 공식

파이를 202조 자리까지 계산하는 것은 엄청난 작업이지만, 그 자릿수의 정확성을 보장하는 것도 똑같이 중요합니다. 이것이 Bailey–Borwein–Plouffe(BBP) 공식이 등장하는 곳입니다.

BBP 공식은 모든 이전 자릿수를 계산할 필요 없이 파이의 이진 자릿수를 16진수(기본 16) 형식으로 확인할 수 있도록 합니다. 이는 대규모 계산의 일부를 교차 확인하는 데 특히 유용합니다.

간단한 설명은 다음과 같습니다.

16진수 출력

: 먼저 메인 계산 중에 파이의 자릿수를 16진수로 생성합니다. BBP 공식은 16진수에서 파이의 임의의 개별 자릿수를 직접 계산할 수 있습니다. GPUPI와 같은 다른 프로그램으로도 할 수 있지만, y-cruncher에는 내장 기능도 있습니다. 오픈 소스 접근 방식을 선호한다면 공식은 잘 알려져 있습니다.

교차 검증

: BBP 공식을 사용하여 파이의 16진수 자릿수의 특정 위치를 독립적으로 계산하여 메인 계산 결과와 비교할 수 있습니다. 일치하면 전체 시퀀스가 올바르다는 강력한 지표입니다. 이 교차 확인을 여섯 번 이상 수행했습니다. 다음은 그중 두 가지입니다.

예를 들어, 기본 계산에서 BBP 공식에서 얻은 16진수 자릿수와 다양한 지점에서 일치하는 경우, 계산된 자릿수의 정확성을 자신 있게 주장할 수 있습니다. 이 방법은 이론적일 뿐만 아니라 모든 중요한 파이 계산에 실질적으로 적용되어 결과의 견고성과 신뢰성을 보장합니다.

R= 공식 실행 결과, V= 검증 결과

R: f3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 37088*

V: *3f7e2296 822ac6a8c9 7843dacfbc 1eeb4a5893 370888

1. 예리한 독자들은 스크린샷의 검증과 위의 비교가 약간 이동했다는 것을 알아차릴 것입니다(*). 16진수가 끝에서 영향을 받기 때문에 필요하지는 않지만, 실행이 일치하는지 확인하기 위해 다른 몇 군데(예: 100조 및 105조 자리)도 확인했습니다. 이론적으로 유사한 방법을 사용하여 파이의 모든 10진수 자릿수를 계산할 수 있지만, 1억 자리를 넘어서는 정밀도를 갖거나 Chudnovsky 수학을 수행하고 모든 자릿수를 얻는 것보다 계산적으로 효율적인지는 불분명합니다. (Eric Weisstein가 이것을 본다면, 연락하십시오. 시도해보고 싶습니다.)이러한 수학적 교차 확인 프로세스를 통합함으로써 202조 자리 파이 계산의 무결성을 보장하고 계산 정밀도와 과학적 정확성에 대한 약속을 입증할 수 있습니다.
2. 앞으로의 길StorageReview 연구소 팀이 202조 자리 이상의 파이를 계산한 성과는 고성능 컴퓨팅 및 스토리지 기술의 놀라운 발전을 강력하게 증명합니다. Dell PowerEdge R760의 Intel Xeon 8592+ CPU와 Solidigm 61.44TB QLC NVMe SSD로 구동되는 이 기록적인 성과는 현대 하드웨어가 어떻게 비교할 수 없는 효율성으로 복잡하고 리소스 집약적인 작업을 효율적으로 처리할 수 있는지 강조합니다. StorageReview 팀의 전문성을 보여주는 것 외에도 이 프로젝트의 성공은 컴퓨팅 수학 및 기타 과학 분야의 한계를 뛰어넘는 오늘날의 HPC 인프라의 잠재력을 강조합니다.

Solidigm의 데이터 센터 스토리지 그룹 부사장인 Greg Matson은 "이 새로운 파이 세계 기록은 이 컴퓨팅 워크로드가 오늘날 우리가 보고 있는 많은 AI 워크로드만큼 강렬하기 때문에 흥미로운 성과입니다. Solidigm D5-P5336 61.44TB SSD는 초고용량, PCIe 4 포화 읽기 성능 및 높은 페타바이트 쓰기의 강력한 조합이 오늘날 가장 까다로운 애플리케이션 중 일부를 견디고 발휘할 수 있음을 다시 한번 입증했습니다."라고 말했습니다. "Dell Technologies의 파트너 및 StorageReview의 전문가들과 함께 또 다른 기록적인 파이 계산 시도를 가능하게 할 기회를 갖게 되어 기쁩니다."

이 이니셔티브는 또한 스토리지 밀도 및 에너지 효율성을 최적화하는 데 귀중한 통찰력을 제공하여 보다 지속 가능하고 관리 가능한 컴퓨팅 솔루션을 위한 길을 열어줍니다. HPC의 잠재력을 계속 탐구함에 따라 이 프로젝트에서 얻은 교훈은 암호학에서 엔지니어링에 이르기까지 다양한 분야에 도움이 되는 미래 혁신을 분명히 주도할 것입니다. StorageReview 연구소 팀의 성과는 올바른 하드웨어와 전문성의 조합으로 과학적 발견과 기술 발전의 새로운 높이에 도달할 수 있음을 보여주는 컴퓨팅 역사의 이정표입니다.

• 감사의 말
• StorageReview 연구소 팀은 이 프로젝트에 대한 변함없는 지원과 기여에 대해 Solidigm, Dell Technologies, Intel 및 y-cruncher Alex Yee에게 감사를 표합니다.

베이징 첸싱지에통 기술 유한회사

Sandy Yang/글로벌 전략 이사

WhatsApp / WeChat: +86 13426366826