Korean
구글 클라우드 다음에서 구글은 8세대 인공지능 가속기를 공개했습니다. 훈련용 TPU v8t ′′Sunfish′′와 추론용 TPU v8i ′′Zebrafish′′, 그리고 새로운 버고 데이터센터 패브릭.에이전틱 인공지능 시대에 맞게, 이 칩은 대규모 전문가 혼합 (MoE) 모델 훈련 및 저연장 토큰을 위해 최적화되어 비용 효율적인 가격으로 서비스됩니다. 동일한 호스트 플랫폼과 상호 연결 조직을 공유하는 동안,v8t와 v8i는 기억에서 다릅니다., SRAM, 토폴로지 및 하드웨어 전문
v8t 슈퍼팟은 2 PB HBM와 9,600 칩을 지원하고 121 EFLOPS의 FP4 컴퓨팅을 제공하며 이전 아이언우드 세대의 성능을 거의 세 배로 높습니다.288 GB HBM 및 384 MB on-chip SRAM을 갖춘 152 칩아이언우드보다 80%나 더 높은 비용 효율을 제공합니다.47 Pb/s 비 차단 대역폭을 제공하여 가속기 단위 처리량 4배 더 높고 지연시간이 40% 낮습니다..
기본 TPU 아키텍처 대 GPU
TPU는 대형 매트릭스 멀티플라이 유닛 (MXU), 소프트웨어 관리 SRAM 및 시간 앞서 컴파일로 특징인 사용자 지정 ASIC입니다. GPU의 동적 소 코어 스케줄링과 달리,TPU는 시스토릭 배열과 함께 결정적 데이터 흐름이 특징입니다., 밀도가 높은 매트릭스 워크로드에서 더 높은 FLOPS 활용을 위해 캐시 지터와 워프 스케줄 오버헤드를 제거합니다. 그러나 TPU는 동적인 모양과 어려움을 겪고 있습니다.불규칙한 희박성 및 복잡한 그래프 네트워크, 또한 JAX와 XLA가 지배하는 좁은 소프트웨어 생태계 지원을 제공합니다.
스파르시티 지원의 구조적 차이점은 TPU와 GPU를 명확하게 구별합니다. NVIDIA 텐서 코어는 명령어 수준의 압축을 통해 2:4 구조화된 스파르시티를 원생적으로 지원합니다.TPU 시스토릭 배열은 딱딱한 로크스텝으로 작동합니다., 파이프라인 스탠드 또는 추가 압축 해제 하드웨어없이 제로 건너뛰기를 비효율화합니다. AWS Trainium2는 배열 처리량을 유지하기 위해 전용 희박 압축 해제 장치로 중간 지점을 채택합니다.
TPU는 SparseCores를 통합하여 테이블을 내장하고 MoE 라우팅을 위한 불규칙한 집합-분산 작업을 처리합니다. 이러한 전문 코어는 정렬, permutation 및 데이터 재배열에 탁월합니다.표준 MXU가 효율적으로 처리할 수 없는 추천 작업 부하와 전문가 토큰 전송.
TPU v8t: 훈련 가속기
v8t 훈련 칩은 216 GB의 HBM3e 메모리와 128 MB의 SRAM을 갖추고 있습니다. 네이티브 FP4 정밀도는 시클 당 처리량을 두 배로 증가시켜 단일 칩 컴퓨팅을 12.6 PFLOPS로 끌어 올립니다.3차원 토러스 연결을 유지하고 업그레이드 19.2 Tb/s ICI 대역폭, 대규모 훈련에서 링 기반 집단 통신에 이상적입니다.
상속 SparseCores는 MoE의 불규칙한 모든 모든 데이터 전송을 최적화합니다. 두 가지 중요한 업그레이드가 대규모 병목을 해소합니다.TPUDirect RDMA와 TPUDirect Storage는 호스트 CPU를 우회하여 직접적인 TPU 메모리 액세스를 가능하게 합니다.또한 v8t는 Google의 ARM 기반 Axion CPU를 호스트 프로세서로 채택합니다.동시화 된 멀티 칩 훈련에 대한 호스트 jitter를 격리하고 사전 처리 안정성을 향상시킵니다..
TPU v8i Zebrafish: 추론 가속기
메모리 대역폭에 묶인 추론 워크로드를 위해 만들어진 v8i는 낮은 지연 시간 토큰 생성에 우선 순위를 부여합니다.384 MB의 SRAM을 갖추고 있습니다. IRONWOOD의 3배입니다.. 두 개의 텐서 코어와 288 GB HBM3e로 10.1 PFLOPS FP4 컴퓨팅을 달성하고, 더 높은 지속적인 활용을 위해 짧은 팩 인프레이션 작업을 중복합니다.
스퍼스 코어스를 대체하는 전용 콜렉티브 가속 엔진 (CAE) 은 칩 상의 동기화 지연 시간을 최대 5배까지 줄여서 빈번한 소량 집단 작업을 최적화합니다.v8i는 드래곤플라이 기반의 보드플라이 토폴로지를 위해 3D 토러스를 포기합니다., 최대 칩-투-칩 호프를 16에서 7으로 줄이고 MoE 모든 모든 지연 시간을 50% 줄입니다.
처녀와 목성의 직물 계층
Virgo는 데이터센터 내부 확장 조직으로 작용하며, 동서 AI 트래픽에 대한 과잉 구독을 제거하기 위해 2층 비 차단 구조를 채택합니다. MEMS 광학 스위치에 의해 작동합니다.밀리초 수준에서 고장 재중선을 가능하게 하고 V8t 슈퍼팟에 97%의 좋은 성능을 유지합니다.유피터와 결합하여 구글의 장거리 크로스 데이터센터 조직으로 층간 상호 연결 시스템은 100만 개 이상의 TPU 칩을 하나의 논리 클러스터에서 지원합니다.7 ZFLOPS 전체 FP4 계산.
성능, TCO 및 시장 위치
높은 양성과 안정적인 모델 FLOP 활용 (MFU) 은 TPU에 압도적인 비용 이점을 제공합니다. 40% MFU로, TPU 교육 비용은 NVIDIA GB300보다 62% 낮습니다. 하드웨어 비교에서,v8t 밀도 FP4 성능은 GB200에서 GB300 사이입니다., 구글은 9,600 칩의 단일 팟으로 대규모 클러스터링에서 지배하고 있으며, NVIDIA의 72-GPU NVLink 도메인을 훨씬 뛰어넘습니다.
앞으로 볼 때, NVIDIA의 베라 루빈, 루빈 울트라 및 카이버는 2026 년에서 2027 년까지 TPU의 성능 격차를 줄일 것입니다. TPU의 약점에는 작은 칩당 HBM,하드웨어의 희소성과 생태계 호환성이 제한되어그럼에도 불구하고 구글은 대규모 클러스터링, 결정적 지연 및 MoE 워크로드에 대한 비용 효율성에서 강점을 유지하고 있습니다.
구글은 TPU와 NVIDIA GPU 인프라를 모두 확장하고 있다. 메타는 2027년부터 수십억 달러의 TPU 도입 계약을 계획하고 있다.TPU v8는 Google의 경쟁력을 NVIDIA 그레이스-블랙웰에 대항하여 대규모 AI 배포를 보장합니다..
베이징 첸징 지에텐 기술 회사, Ltd
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요