MIT와 터프츠 대학교 연구진은 블록 지우기 및 쓰기 작업과 가비지 컬렉션으로 인한 성능 저하를 완화하는 풀링된 SSD를 위한 성능 향상 관리 방안을 개발했습니다.
Sandook이라는 이 방안은 스토리지 서버에서 실행되는 에이전트 소프트웨어의 텔레메트리 데이터를 활용하는 2계층 제어 구조를 사용하여 SSD의 단기 및 장기 성능 제한 특성을 분리합니다.
SSD 성능은 읽기 및 쓰기 요청의 혼합에 따라 크게 달라질 수 있습니다. 쓰기는 블록 수준의 지우기 및 다시 쓰기 주기가 필요하므로 읽기보다 훨씬 느리며, 과도한 쓰기 트래픽은 전반적인 읽기 성능을 저하시킬 수 있습니다. 또한 성능은 공급업체별 SDS 설정 및 동일 제조사 및 배치에서 나온 SSD 간에도 다를 수 있습니다. SSD 컨트롤러가 블록 내에서 삭제된 셀을 회수하려면 유효한 데이터를 복사하고 블록을 지운 다음 무료 풀로 반환해야 하는데, 이를 가비지 컬렉션이라고 합니다. 이 작업은 일반적으로 각 SSD 컨트롤러에서 독립적으로 관리되며 갑작스럽고 상당한 성능 저하를 초래할 수 있습니다.
연구진은 컴퓨팅 노드와 스토리지 서버로 구성된 컴퓨팅 클러스터를 구상했습니다. 중앙 컨트롤러는 컴퓨팅 클러스터 내에서 작동하며, 컴퓨팅 서버의 클라이언트 소프트웨어 및 스토리지 서버의 에이전트 소프트웨어와 함께 작동합니다. 스토리지 서버는 표준 기성품 SSD를 사용하며, 각 SSD에는 자체 네이티브 컨트롤러가 장착되어 있습니다.
Sandook 컨트롤러는 모든 SSD의 레지스트리를 유지 관리하며, 각 SSD를 프로파일링하여 IOPS 기능과 같은 성능 기준선을 설정합니다. 개별 드라이브에 읽기 또는 쓰기 모드를 할당하고 스토리지 서버의 Sandook 에이전트로부터 200ms마다 실시간 성능 업데이트를 받습니다. 이 데이터를 사용하여 클러스터의 전역 I/O 수요에 맞춰 조정된 읽기 및 쓰기 가중치를 계산하고 이러한 스케줄링 결정을 컴퓨팅 서버의 Sandook 클라이언트 소프트웨어와 공유합니다.
읽기의 경우 Sandook은 내결함성을 위해 이미 사용 중인 기존 블록 복제를 활용하여 서로 다른 SSD의 복제본에 읽기 요청을 유연하게 라우팅합니다. 쓰기의 경우 논리적 블록 배치에 관계없이 쓰기를 모든 SSD로 지시할 수 있는 로그 구조 설계를 사용합니다. 이러한 높은 유연성은 제약 없이 스케줄링 정책을 적용할 수 있도록 보장합니다.
Sandook 클라이언트 소프트웨어는 애플리케이션에 표준 블록 장치 인터페이스를 노출하여 컨트롤러의 스케줄링 규칙에 따라 가장 적합한 SSD로 I/O 요청을 투명하게 라우팅합니다. 또한 스토리지 측 에이전트로부터 실시간 SSD 상태를 수신하고 가비지 컬렉션 중에 SSD의 우선순위를 낮출 수 있습니다. 그런 다음 읽기 및 쓰기 요청은 다른 드라이브로 리디렉션되어 전체 스토리지 시스템의 과도한 꼬리 지연을 방지합니다.
Sandook 에이전트 (1) 클라이언트의 읽기 및 쓰기 명령을 처리하고 대상 SSD로 전달합니다. (2) 컨트롤러의 스케줄링을 지원하기 위해 주기적인 프로파일링 및 실시간 상태 신호를 포함한 하드웨어 독립적인 모니터링을 제공합니다. (3) SSD 혼잡 신호를 클라이언트에 전달하여 가비지 컬렉션과 같은 단기 이벤트가 서버의 다른 SSD로 I/O를 전환하여 로컬에서 즉시 처리될 수 있도록 합니다.
스토리지 서버당 수십 개의 SSD를 모니터링하는 데 드는 메모리 및 CPU 오버헤드는 최소입니다.
연구진은 네 가지 워크로드에서 Sandook을 평가했습니다:
- LeanStore: 멀티코어 CPU 및 NVMe SSD에 최적화된 고성능 OLTP 스토리지 엔진입니다.
- 머신러닝: PyTorch를 사용하여 180GB 데이터셋으로 Unet3D CNN 모델을 훈련합니다.
- LZ4: ImageNet ILSVRC2015 데이터셋에 대한 이미지 압축입니다.
- 스토리지 서버: 지연 시간에 민감한 애플리케이션을 제공하는 고성능 오픈 소스 블록 스토리지 서버입니다.
전반적으로 Sandook은 성능 변동성의 한 가지 원인만 해결하는 기존 시스템에 비해 원시 I/O 처리량을 30~82% 향상시키면서도 1밀리초 미만의 꼬리 지연을 유지합니다. SSD 풀을 공유하는 수정되지 않은 애플리케이션의 경우 엔드투엔드 성능이 12~94% 향상됩니다.
구체적으로 이전 시스템에 비해 스토리지 처리량이 1.7배, 애플리케이션 처리량이 1.12~1.94배, 지연 시간이 71~88% 감소했으며 GPU 활용률은 23% 향상되었습니다. 맞춤형 하드웨어 또는 애플리케이션 변경이 필요하지 않습니다.
“데이터센터 SSD의 잠재력을 성능 변동성 완화를 통해 발휘”라는 제목의 Sandook 논문은 다운로드 가능한 PDF로 제공됩니다. 이 연구는 5월 4일부터 6일까지 워싱턴주 렌턴에서 열리는 USENIX 네트워크 시스템 설계 및 구현 심포지엄(NSDI 2026)에서 발표될 예정입니다.
베이징 첸싱 지에통 기술 유한회사
샌디 양 / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 통해 지능형 세계를 구축합니다” 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!
귀하의 메시지는 20-3,000 자 사이 여야합니다!
Korean
