주말 동안 글로벌 플래시 및 메모리 분야는 마이크론-애플 분쟁, 앤트로픽의 SK하이닉스와의 칩 소싱 협상, 새로운 엔비디아-SK하이닉스 파트너십, SK하이닉스의 3D DRAM 발전, 삼성의 CXL 메모리 풀링 혁신 등 치열한 활동을 보였습니다.
SK하이닉스가 최근 업계 헤드라인을 장악했습니다. 시트리니 분석가 주칸은 이 회사가 3D 적층 DRAM을 개발 중이며, 미국 산호세 자회사를 통해 3D 적층 DRAM-온-로직 설계 엔지니어를 전략적으로 채용하여 이를 지원하고 있다고 확인했습니다. 이 채용은 여러 미국 기반 고객과 3D 적층 DRAM 로직 다이를 공동 설계할 수 있는 인재를 대상으로 합니다.
새로운 아키텍처는 3D DRAM 스택을 시스템 반도체 프로세서 위에 쌓습니다. DRAM과 로직을 단일 다이에 통합하면 별도의 메모리 및 로직 패키지를 쌓는 기존의 패키지-온-패키지(PoP) 본딩보다 더 빠른 칩 간 연결성과 낮은 전력 소비를 제공합니다.
주칸은 이 기술이 높은 메모리 대역폭과 낮은 전력 소비를 요구하는 AI 워크로드 장치를 대상으로 하며, 특히 스마트폰 모바일 애플리케이션 프로세서가 주요 잠재 고객이 될 수 있다고 언급했습니다.
SK그룹은 엔비디아와의 전략적 파트너십을 공식 의향서로 확장하여 5천억 달러 이상의 가치를 지닌 협력을 구축했습니다. SK텔레콤은 글로벌 컴퓨팅 수요를 충족하기 위해 새로운 클라우드 제공업체로서 2기가와트 규모의 엔비디아 베라 루빈 DSX AI 팩토리를 구축할 예정입니다. 베라 루빈 칩은 SK하이닉스의 HBM4 메모리를 채택할 것이며, 첫 번째 AI 팩토리는 2027년에 출시될 예정입니다.
이 파트너십은 주권, 물리적, 에이전트 및 엔터프라이즈 AI 서비스를 포함한 대규모 AI 인프라 개발을 가속화하고 한국 및 아시아 태평양 지역 전반의 급증하는 AI 수요를 해결하는 것을 목표로 합니다. SK하이닉스는 또한 엔비디아와 장기적인 AI 메모리 파트너십을 시작하여 엔비디아에 안정적인 차세대 AI 메모리 공급을 확보하는 동시에 SK하이닉스의 생산 능력을 확장할 것입니다. 양측은 LLM 학습, 에이전트 및 물리적 AI 시나리오를 위해 HBM 및 기타 AI 메모리 솔루션을 공동 개발하고 최적화할 것입니다.
최태원 SK그룹 회장은 이번 협력이 SK하이닉스의 AI 메모리와 SK텔레콤의 인프라 강점을 활용하여 세계적 수준의 AI 팩토리를 구축하고 한국을 AI 채택국에서 글로벌 AI 혁신 허브로 변화시킬 것이라고 말했습니다.
전 인텔 CEO 팻 겔싱어는 한국 산업계와의 대화에서 HBM을 불완전한 메모리 솔루션이라고 공개적으로 비판했습니다. 그는 HBM의 주요 결함으로 열 스태킹 문제, GPU 엣지 해안선으로 인한 연결 제한, 낮은 전력 효율성, 그리고 약 4개의 메모리 비트를 희생하는 비트 비효율성을 지적했습니다. 그럼에도 불구하고 겔싱어는 HBM이 현재 사용 가능한 최선의 솔루션임을 인정했습니다.
SK하이닉스 Hoshik Kim SVP는 겔싱어의 견해를 부분적으로 지지하며, HBM은 AI의 본질적인 메모리 벽 병목 현상을 근본적으로 해결할 수 없다고 말했습니다. 그는 HBM이 단지 임시 완화 조치일 뿐이며, SK하이닉스는 핵심 메모리 벽 문제를 해결하기 위한 대안 솔루션을 적극적으로 개발하고 있다고 밝혔습니다.
블룸버그에 따르면, 미국의 선도적인 AI 기업인 앤트로픽은 자체 맞춤형 AI 프로세서를 지원하기 위한 전용 메모리 칩 공급을 SK하이닉스와 협상 중입니다. 최태원 SK그룹 회장은 2024년 7월 샌프란시스코 AI 서밋에서 이 소식을 전했으며, 앤트로픽 CEO 다리오 아모데이는 엔비디아의 GPU 지배력을 깨기 위한 업계의 광범위한 노력 속에서 앤트로픽의 야심찬 하드웨어 개발 목표를 칭찬했습니다. 아모데이는 이 발언에 대해 공개적으로 응답하지 않았습니다.
삼성은 공식 기술 블로그에 따르면, 외부 CXL 풀링 메모리를 사용하여 AI 추론 워크로드에 대해 거의 네이티브 DRAM 성능을 달성했습니다. LLM은 추론 지연 시간과 중복 계산을 줄이기 위해 계산된 어텐션 키와 값을 저장하기 위해 KV 캐시를 사용하지만, 대규모 모델은 수백 기가바이트의 캐시를 요구하며 이는 온보드 AI 프로세서 메모리를 쉽게 초과합니다. 기존 SSD 또는 네트워크 기반 오프로딩은 용량 제한을 완화하지만 추가 지연 시간과 대역폭 오버헤드를 발생시킵니다.
CXL 기술은 고대역폭의 일관된 PCIe 인터커넥트를 통해 기존 DRAM의 물리적 제약을 극복하고, CXL 스위치를 통해 여러 장치에 걸쳐 확장 가능한 메모리 풀링을 가능하게 합니다. 삼성의 CMM-D(CXL 메모리 모듈-DRAM)는 이 확장된 메모리 아키텍처를 위해 특별히 제작되었습니다.
삼성은 PCIe Gen5를 통해 엔비디아 RTX PRO 6000 블랙웰 GPU와 CMM-D 모듈을 테스트했으며, vLLM 및 LMCache 소프트웨어 최적화를 통해 1TB CXL 메모리 풀을 구축했습니다. 테스트 결과, 이 풀이 거의 DRAM 성능으로 대규모 KV 캐시 오프로딩을 지원함을 확인했습니다. 단일 GPU 설정에서 최적화된 CXL 풀링은 LMCache 백엔드로 DRAM 성능과 일치했습니다. 8개 GPU의 멀티 GPU 환경에서는 훨씬 더 큰 메모리 용량으로 네이티브 DRAM 처리량의 92%를 유지했습니다.
추가 테스트에서는 증가하는 KV 캐시 부하에서 512GB 로컬 DRAM 설정과 1TB CXL 풀을 비교했습니다. 로컬 DRAM은 용량을 초과하면 반복적인 캐시 재계산으로 인해 심각한 성능 저하를 겪었지만, CXL 풀은 안정적인 성능을 유지하고 훨씬 더 큰 캐시 공간을 지원했습니다. 전체 테스트 세부 정보는 삼성의 다운로드 가능한 백서에서 확인할 수 있습니다.
삼성은 현재 CXL 스위치 배포에는 LMCache 및 기타 구성 요소에 대한 호스트 수준 커널 및 소프트웨어 조정이 필요하다고 언급했습니다. 그럼에도 불구하고 CXL 3.0 기반 메모리 풀링은 강력한 애플리케이션 잠재력을 보여주고 있으며, 기존 기술적 한계를 제거하기 위한 Intel DMR, AMD Venice 및 새로운 CXL 3.0 스위치 플랫폼을 통한 생태계 성숙이 진행 중입니다.
마지막으로, 마이크론과 애플 사이에 점점 더 큰 균열이 생겼습니다. WSJ 보도에 따르면, 시트리니의 주칸은 애플이 중국의 블랙리스트 기업인 CXMT DRAM을 자사 기기에 배포하기 위해 백악관에 로비하고 있으며, 마이크론은 CXMT 칩 채택을 차단하기 위해 반대 항소를 제기하고 있다고 밝혔습니다. 이 마찰은 마이크론 CEO 산제이 메흐로트라가 샌디스크 재직 시절 애플이 구매자 시장에서 플래시 메모리 가격을 낮추도록 강요했던 오랜 원한에서 비롯됩니다. 현재 메모리 시장이 공급업체에 유리한 상황에서 메흐로트라는 애플에 대한 가격 및 공급 제약을 완화할 의사가 없는 것으로 알려졌습니다.
베이징 첸싱 지에통 기술 유한 회사
샌디 양 / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
사업 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
기술을 통해 지능형 세계를 구축하십시오. 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!
귀하의 메시지는 20-3,000 자 사이 여야합니다!
Korean
