회사 소식 Inferra는 Lightbits 추론 메모리 벽 버스터입니다

전체 텍스트를 압축했습니다8% 단어 수, 모든 핵심 사실, 기준, 코트 및 기술적 논리를 유지했으며 모든 링크를 삭제했습니다:

라이트비트 인페라 소프트웨어는 KV 캐시 작업을 가속화하고, AI 추론의 메모리 벽을 깨고 GPU 활용도를 크게 향상시킵니다.고성능 블록 스토리지 회사는 GPU 고 대역폭 메모리 (HBM) 를 가상화하기 위해 Inferra를 구축했습니다.. KV 캐시는 LLM 추론 중에 미리 계산된 주의 키와 값을 저장하여 염기서열 데이터의 불필요한 재 계산을 피하고 생성 AI 성능을 향상시킵니다.

표준 KV 캐시는 캐시된 데이터를 GPU HBM에 제한합니다. HBM가 포화되면 기존 KV 페어는 새로운 데이터에 대해 추방되며 재사용 시 시간이 많이 걸리는 재 계산이 필요합니다.현대 계층 KV 캐시는 서버 DRAM에 저장 공간을 확장합니다., 로컬 NVMe SSD 및 원격 네트워크 NVMe 드라이브. 더 높은 레벨은 더 긴 액세스 지연 시간을 발생하지만,이 지연은 광범위한 토큰 벡터를 재 계산하는 것보다 종종 짧습니다.

Inferra는 긴 컨텍스트 KV 캐시 발자국을 확장함으로써 발생하는 중요한 메모리 병목을 해결합니다. 클라우드 및 엔터프라이즈 사용자가 더 빨리 실행할 수 있도록합니다.캐시 용량을 확장하기 위해 GPU 및 HBM 하드웨어 업그레이드 없이 더 확장 가능한 AI 추론.

라이트 비트 랩의 공동 설립자이자 회장인 아비그도르 윌렌즈는 2026년 1천7억 달러 규모의 인공지능 추론 시장이 기존의 교육 중심 업체들을 다시 설계하도록 강요한다고 지적했다.그는 KV 캐시 병목을 위해 기존 저장 및 훈련 시스템을 재구성할 수 없다고 강조했습니다.GPU 추론 효율성을 위해 특별히 만들어진 인페라는 고객 베타 프로그램에서 가치를 검증했습니다.현대적인 추론의 문제점을 해결하기 위해 공급자의 NVMe를 TCP 혁신에 확장합니다..

KV 캐시 최적화된 사전 검색 알고리즘에 의해 구동되는 인페라 (Inferra) 는 GPU 수요 이전에 KV 캐시 데이터를 능동적으로 로드합니다.엄격한 SLA 준수와 함께 기존 GPU 하드웨어에서 최대 16 배 더 많은 동시 추론 세션 (하드웨어 업그레이드가 필요하지 않습니다); 최대 100배의 지연 개선 및 1천만 토큰 컨텍스트 창을 지원, 재 계산 대신 예측적 주의 상태 사전 검색을 통해 TTFT와 TPOT를 절단;그리고 공유 추론 클러스터를 위한 지능형 KV 통일 캐시 관리로 안전한 임대자 격리.

인페라 (Inferra) 는 여러 계층 메모리 및 스토리지를 통해 GPU 메모리를 가상화하여 분쇄된 KV 캐시를 지속적이고 지능적인 데이터 계층으로 전환하여 추론 경제학을 재정의합니다.x86 서브시스템에 배포, 그것은 KV 캐시 블록 활동을 모니터링하고 하위 선형 희박 주의 전수 (SLSAP) 엔진을 활용합니다. 지역 민감 해시와 역사적 주의 재사용 패턴을 결합하여,자주 재사용되는 KV 블록을 순위화하고 우선 순위를 지정합니다., 최근 토큰, 의미적으로 유사한 내용과 구조 패턴을 포함합니다. 여러 차례의 채팅과 RAG 워크플로우에서.시스템은 서버 DRAM 또는 외부 SSD에서 표적 블록을 검색하고 RDMA를 통해 GPU HBM에 미리 로드합니다..

OVH 최고 제품 및 기술 책임자 Yaniv Fdida는 Inferra가 확장 가능하고 비용 효율적인 AI 에이전트 및 RAG 워크 로드 인프라를 가능하게하여 GPU 활용률을 크게 향상시킨다고 확인했습니다.

공개 벤치마크 결과는 급격한 성능 상승을 확인합니다: Qwen 2.5-7B (410K 컨텍스트) 가속도는 102 × (72.6s → 711ms); DeepSeek-R1-70B (141K 컨텍스트) 는 152 × (70.8s → 465ms) 를 향상시킵니다.Llama-4-Scout (10M 컨텍스트) 는 380 × 점프 (1.5시간 → 13초)

하드웨어에 무관하고 모든 주류 오픈 소스 추론 프레임워크와 호환되는 인페라에는 다이노, vLLM 및 LMCache 플러그인이 지원됩니다.컨텍스트 길이에 대한 준선형 TTFT 확장 기능을 제공합니다., DDN, VAST 데이터 및 WEKA를 포함한 경쟁자는 선형 확장 또는 반응 스트리밍만을 제공합니다. 라이트 비트 (Lightbits) 는 상품 L40S GPU에서 안정적인 10M 토큰 컨텍스트 인포를 입증했습니다.경쟁 업체들이 비교할 수 없는 기준.

라이트 비트 랩의 AI 제품 및 비즈니스 SVP 라메시 체투베티는 인페라가 즉각적인 TCO 절감을 제공한다고 말했습니다.긴 맥락 추론 스탠드를 제거하고 더 낮은 인프라 비용으로 더 큰 모델과 더 긴 대화 작업 부하를 실행 할 수있는 기업을 지원합니다.. 사용자는 공급자의 공공 효율 평가 플랫폼을 통해 Inferra의 추론 비용 최적화 이점을 평가 할 수 있습니다.인페라 (Inferra) 는 컴퓨팅 스토리지 SSD 워크로드에서 100 × ~ 280 × KV 캐시 가속을 달성했습니다..

베이징 첸징 지에텐 기술 회사, Ltd
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요