저희는 CoolIT Systems와 협력하여 저희 실험실에 액체 냉각을 도입했습니다. 이를 위해 소형 액체 냉각 리그를 제작하고 Dell PowerEdge R760 서버를 개조하여 공랭식에서 수랭식으로 전환했습니다. 저희는 액체 냉각 여정을 이제 막 시작했지만, 직접 액체 냉각(DLC)이 제공하는 이점에 대해 이미 중요한 사실들을 발견했습니다.

 

DLC 전환 후 Dell PowerEdge R760

현대적인 워크로드를 지원하려면 어떤 형태로든 액체 냉각이 필요할 것입니다. 막대한 CPU 및 GPU 열 설계 전력(TDP)을 가진 서버를 공랭식으로 냉각하는 것은 더 이상 수학적으로 맞지 않습니다. 냉각판을 통한 DLC는 가장 일반적인 솔루션이며, 모든 서버 공급업체는 최소한 하나의 옵션을 가지고 있습니다. Dell의 경우 CoolIT Systems와 협력하여 PowerEdge 포트폴리오 전반에 걸쳐 액체 냉각을 제공하고 있습니다.

대부분의 데이터 센터와 마찬가지로 저희 실험실도 처음부터 액체 냉각을 활용하도록 설계되지 않았습니다. 하지만 많은 데이터 센터처럼 저희도 가장 높은 전력을 사용하는 서버에 어떤 형태로든 액체 냉각이 필요하다는 것을 알게 되었고, 이러한 시스템을 활용하려면 적응해야 합니다. 최근 기업들은 AI에 투자하면서 대부분의 시스템이 곧 작동을 위해 어떤 종류의 액체 루프를 필요로 하게 될 것이라는 사실을 알게 되면서 이러한 이야기를 많이 듣고 있습니다.

저희의 경우, 실험실에 있는 Dell PowerEdge R760 서버 중 하나를 개조하는 것으로 시작하기로 결정했습니다. 분명히 말씀드리자면, 고객이 액체 냉각 서버를 원할 경우 Dell에 그렇게 주문합니다. Dell은 CoolIT과의 통합을 처리하며 고객은 냉각판이 설치되고 액체 냉각을 위한 호스가 연결된 서버를 받게 됩니다. DLC PowerEdge 시스템은 공랭식 서버와 몇 가지 미묘한 차이가 있어 이 작업은 비교적 미지의 영역으로 들어섰습니다. 예를 들어 iDRAC 카드가 다른데, DLC 버전에는 누수 감지를 위한 리드가 있습니다. 전환 과정은 성공했지만, 자체 냉각판을 설치하는 것은 지원되지 않는 활동입니다.

CoolIT DLC 키트

CoolIT은 고객이 데이터 센터에 액체 냉각을 추가하는 과정을 진행할 때 사용하는 소규모 개념 증명에 일반적으로 사용되는 소형 시스템을 제공했습니다. 하지만 이 시스템은 10kW까지 확장 가능하므로 액체 냉각을 처음 접하는 사람들이 랙의 절반 정도를 사용하여 경험을 쌓기에 좋습니다. 이 설정에는 냉각판, 랙 매니폴드, 냉각수 분배 장치(CDU)의 세 가지 주요 구성 요소가 있습니다.

냉각판은 특정 TDP 사용 사례에 맞게 설계되었으며 냉각되는 CPU 또는 GPU에 완벽하게 맞습니다. 겉보기에는 단순해 보이지만, 냉각판 자체에는 펌프나 움직이는 부품이 없더라도 TDP 상승으로 인해 엔지니어링은 결코 간단하지 않습니다. 참고로 CoolIT은 최근 최대 1500W를 지원하는 새로운 냉각판 라인을 출시했습니다. 저희 R760의 CPU는 이에 비하면 평범한 수준으로, Intel Xeon 8580 CPU는 각각 350W의 TDP를 가집니다.

 

냉각판 설치는 매우 간단하며, 블록에는 이미 서멀 페이스트가 도포되어 있어 매우 간단한 드롭인 키트입니다. 앞서 언급했듯이 DLC 시스템에는 누수 감지 케이블을 냉각판에서 연결할 수 있는 연결 지점이 있는 다른 iDRAC 카드가 있습니다. 호스는 DLC iDRAC 키트에 포함된 다른 브래킷을 통해 R760 후면으로 라우팅됩니다.

냉각판은 라벨이 붙은 온/냉 연결을 통해 매니폴드에 연결됩니다. 매니폴드 자체는 스테인리스 스틸로 만들어졌으며 피팅은 누수 없는 빠른 연결 방식입니다. 서버를 매니폴드에 연결하는 데는 몇 초밖에 걸리지 않으며, 매니폴드는 미리 채워져 있습니다. 우연히도 저희 매니폴드는 랙 뒷면에 설치되었지만, 필요한 경우 전면에 구성할 수도 있습니다. 저희는 이 사용 사례를 위해 소형 매니폴드를 사용하고 있으며, 더 전통적인 DLC 랙에는 전체 랙을 덮는 매니폴드가 있을 것입니다. 매니폴드는 CDU에 직접 연결됩니다.

CDU는 이 루프에서 핵심적인 역할을 수행하며, 저희는 CoolIT AHx10을 사용하고 있습니다. 이것은 25°C의 주변 온도에서 7kW의 부하를 처리할 수 있는 5U 액체-공기 CDU입니다. CoolIT은 이 장치를 10kW까지 확장할 수 있는 확장 키트를 제공합니다. 섀시 내부에는 액체-공기 열 교환기와 이중화된 펌프가 있습니다. 매니폴드와 마찬가지로 CDU도 미리 채워져 있습니다. 저희는 랙의 비교적 낮은 위치에 배치했지만, 랙 설정에 따라 CDU는 어디든 배치할 수 있습니다.

AHx10은 최대 750W의 전력 소비량을 가지며, 이는 전력 절감에 대한 전반적인 경제성 논의에 도움이 됩니다. 이 시스템은 원격 액세스를 지원하는 직관적인 터치스크린 디스플레이를 갖추고 있습니다. 초기 펌프 압력 설정 외에는 CDU에 대해 거의 할 일이 없으며, 거의 '설정하고 잊어버리는' 방식입니다. 저희는 몇 주 동안 추가적인 개입 없이 작동하고 있습니다.

이 CoolIT 장비를 사용하면 열 자체를 해결하는 것은 아니라는 점에 주목할 가치가 있습니다. 저희는 효과적으로 R760의 CPU에서 발생하는 열을 CDU 내부의 열 교환기로 옮기고 있습니다. 실험실 외부로 열을 전달할 수 있는 시설 용수가 없기 때문에 이전과 마찬가지로 실험실을 냉각해야 합니다. 하지만 이와 같은 소형 시스템은 몇 개의 액체 냉각 서버에 완벽하며, 소규모 AI 배포를 하는 기업에 이상적일 수 있으며, Dell PowerEdge XE9640과 같은 제품과 잘 어울릴 것입니다.

저희 실험실에서 DLC R760의 열을 여전히 처리해야 하지만, 액체 냉각으로 전환하는 데에는 몇 가지 이점이 있습니다.

DLC의 이점

공랭식에서 액체 냉각으로 전환할 때 가장 크고 명백한 이점은 팬 사용량 감소입니다. R760은 DRAM 및 스토리지와 같은 시스템 구성 요소에 대한 공기 흐름이 여전히 필요하지만, 팬 속도를 그렇게 빠르게 회전시킬 필요는 없습니다. 이렇게 하면 서버가 더 조용해지지만, DLC 루프의 가장 좋은 점은 전기 소비량 감소입니다. 또 다른 놀라운 점은 DLC R760이 공랭식일 때보다 성능이 약간 더 좋았다는 것입니다.

R760의 전기 소비량을 더 자세히 살펴보기 위해 Quarch QTL2843 메인 전력 분석 모듈을 설정했습니다. 서버를 공장 출하 시 공랭식 히트싱크를 사용했을 때와 CoolIT 냉각판을 사용했을 때 모두 실행했습니다. CPU에 부하를 주기 위해 500억 자리까지 파이 계산을 실행했는데, 이는 CPU와 DRAM에 매우 큰 부하를 줍니다. 저희의 의도는 CPU를 최대한 압박하여 팬이 최대 요구량까지 작동하도록 하는 것이었습니다.

DLC 구현의 영향은 즉시 분명해졌습니다. R760을 공랭식 구성으로 실행할 때, 예상대로 워크로드 중에 팬이 100%로 회전합니다. DLC 구성에서는 R760이 팬을 32%로 회전시키기로 결정했는데, 이는 극적인 감소입니다. 이는 단일 서버에서 200와트의 절감 효과에 해당합니다. 눈에 띄는 것은 팬 속도뿐만이 아니라, CPU 자체의 온도가 DLC를 사용했을 때 공랭식일 때의 88/89°C에 비해 약 절반인 41/42°C로 보고되었습니다.

 

하지만 액체 냉각으로 전환했을 때 얻는 것은 전력 절감만이 아닙니다. 예상치 못했던 약간의 성능 향상도 있었습니다. 냉각판이 더 나은 냉각을 제공함에 따라 CPU는 최대한의 성능을 발휘할 수 있습니다. 공랭식 구성에서 R760은 500억 자리 파이 계산을 369초에 완료했습니다. DLC 구성에서는 R760이 조금 더 빨라져 347초 만에 계산을 완료했습니다. 이는 약 6%의 성능 향상으로, Intel CPU에서 조금 더 많은 성능을 끌어낼 수 있었습니다.

최종 생각

저희는 실험실에서 액체 냉각을 시작하는 단계이며, 이 초기 노력에 CoolIT과 함께하게 되어 매우 기쁩니다. 냉각판은 PowerEdge R760에서 완벽하게 작동하며, 매니폴드와 CDU는 함께 작동하여 문제나 지속적인 조정 없이 '그냥 작동'합니다. 데이터 센터에 액체를 도입하는 것을 망설이는 사람들에게는 지속적인 단순성이 중요합니다. 또한 누수나 기타 치명적인 사고도 없었으며, 이는 예상대로 엔터프라이즈급 장비로 고장률이 매우 낮습니다.

고성능 AI 시스템을 데이터 센터에 도입하려는 기업에게 액체 냉각은 피할 수 없는 선택입니다. 8개 GPU 서버는 공랭식을 버리고 이와 같은 DLC 루프 또는 최소한 폐쇄 루프 및 라디에이터를 선택할 것입니다. 어느 쪽이든 어떤 형태로든 액체가 데이터 센터에 들어올 것입니다. 상당한 전기 절감 효과와 적당한 성능 향상을 고려할 때, 기업들이 DLC 서버를 채택해야 하는 데에는 많은 이유가 있습니다.

CoolIT은 이 분야의 명확한 선두 주자이며, Dell과의 관계를 통해 매우 쉽게 사용할 수 있는 다양한 액체 냉각 솔루션을 시장에 출시하고 있으며, 걱정할 일이 거의 없습니다. 저희는 소형 루프를 더 탐색하기를 기대하며, 실험실에서 더 많은 액체 냉각 서버를 볼 수 있기를 고대합니다.

북경 건흥 지통 과학기술 유한공사
샌디 양 / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com

사업 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
기술을 통해 지능형 세상을 구축하십시오. 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!