Korean
IBM은 AI 데이터 처리를 스토리지 계층에 직접 내장하는 콘텐츠 인식 스토리지(CAS) 아키텍처를 공개했습니다. 이 접근 방식은 문서 벡터화를 스토리지 시스템 자체에 통합하여 검색 증강 생성(RAG) 워크플로우에 맞춰 외부 사전 처리 파이프라인의 필요성을 줄입니다.
CAS는 주요 RAG 기능인 대규모 언어 모델(LLM) 기반 방법을 통한 문서 임베딩을 스토리지 인프라로 이전합니다. 이를 통해 기업은 기존 위치에서 데이터를 처리하고 인덱싱할 수 있으며, 스토리지 시스템을 AI 기반 워크로드와 정렬하고 다양한 인프라 계층 간의 데이터 이동을 최소화합니다. IBM은 이를 배포를 단순화하면서 성능을 향상시키고 AI 애플리케이션을 위한 데이터 지역성을 강화하는 수단으로 포지셔닝합니다.
대규모 벡터 데이터베이스
IBM CAS 구현의 핵심은 의미론적 검색에 최적화된 벡터 데이터베이스입니다. 벡터 데이터베이스는 근사 최근접 이웃(ANN) 검색을 지원하여 AI 시스템이 코사인 유사도 또는 L2 거리와 같은 유사도 메트릭을 기반으로 관련 데이터 청크를 검색할 수 있도록 합니다. 이 기능은 RAG에 필수적이며, 사용자 쿼리가 벡터로 변환되고 인덱싱된 엔터프라이즈 데이터와 일치하여 컨텍스트 인식 응답을 제공합니다.
IBM CAS 차트 출처: IBM
IBM Research는 삼성 및 NVIDIA와 협력하여 단일 서버에서 1,000억 개의 벡터로 확장 가능한 프로토타입 시스템을 선보였습니다. 이 시스템은 90% 이상의 재현율과 정밀도를 달성했으며 평균 쿼리 지연 시간은 700밀리초 미만이었습니다. 이 규모는 데이터 세트가 수십억 개의 파일에 걸쳐 있고 완전히 인덱싱되면 수천억 개의 벡터로 증가할 수 있는 엔터프라이즈 환경에 적합합니다.
RAG 파이프라인 통합
RAG는 모델 재훈련 없이 출력 정확도를 향상시키기 때문에 엔터프라이즈 AI에서 선호되는 접근 방식이 되고 있습니다. 벡터 데이터베이스에서 검색된 엔터프라이즈별 데이터로 프롬프트를 보강하여 작동합니다.
파이프라인은 PDF 및 프레젠테이션과 같은 문서가 구문 분석되고 청크로 분할되며 임베딩으로 변환되는 데이터 수집으로 시작됩니다. 이러한 임베딩은 효율적인 유사성 검색을 위해 데이터를 구성하는 벡터 데이터베이스에 저장됩니다. 쿼리 중에 사용자 입력이 임베딩되고 저장된 벡터와 일치하며 관련 콘텐츠가 컨텍스트로 언어 모델에 전달됩니다. 이 접지 메커니즘은 환각을 줄이고 AI 생성 출력에 대한 신뢰를 높입니다.
IBM의 CAS는 이 전체 파이프라인을 스토리지에 직접 통합하여 수집, 인덱싱 및 검색을 데이터에 가깝게 통합합니다.
확장성 및 비용 문제 해결
엔터프라이즈 스토리지 시스템은 이미 페타바이트 규모로 운영되고 있습니다. CAS로 확장하면 각 파일이 수백 개의 벡터를 생성할 수 있어 데이터 세트 크기가 빠르게 확장됩니다. 기존 벡터 데이터베이스는 일반적으로 여러 서버에 걸쳐 확장되어 추가 비용과 운영 복잡성을 초래합니다. 대규모 데이터 세트의 인덱싱 및 재인덱싱도 시간이 많이 소요되는 작업이 됩니다.
IBM의 접근 방식은 벡터 밀도를 개선하고 인덱싱 오버헤드를 줄여 인프라 확산을 제한하는 데 중점을 둡니다. 이 아키텍처는 벡터 및 인덱스 스토리지를 쿼리 컴퓨팅과 분리하여 스토리지 및 컴퓨팅 리소스를 독립적으로 확장할 수 있습니다. 이는 IBM Storage Scale과 고성능 병렬 파일 시스템을 통해 가능합니다.
스토리지 및 하드웨어 아키텍처
CAS 구현은 AI 및 고성능 워크로드를 위해 설계된 올플래시 플랫폼인 IBM Storage Scale System 6000(ESS 6000)을 활용합니다. 이 시스템은 4U 인클로저당 최대 48개의 NVMe 드라이브를 지원하며, 개별 드라이브 용량은 7TB에서 60TB까지 다양합니다. PCIe Gen5, 400Gb InfiniBand 또는 200Gb 이더넷 연결을 통합하여 노드당 최대 340GB/s의 읽기 및 175GB/s의 쓰기 처리량과 최대 7백만 IOPS를 제공합니다.
이 플랫폼은 NVIDIA GPUDirect Storage를 지원하여 스토리지와 GPU 간의 직접 데이터 경로를 용이하게 하고, BlueField-3 DPU를 사용하여 네트워크 및 데이터 처리 작업을 오프로드합니다.
Samsung PM9D3a PCIe Gen5 NVMe SSD는 고처리량, 고밀도 스토리지를 제공합니다. 8세대 TLC V-NAND를 기반으로 하는 이 드라이브는 장치당 최대 30.72TB를 제공하며 순차 읽기 속도는 최대 12GB/s, 쓰기 속도는 최대 6.8GB/s입니다. 상용 엔터프라이즈 SSD를 사용하면 아키텍처를 표준 구성 요소를 사용하여 확장할 수 있습니다.
계층적 인덱싱 및 GPU 가속
대규모 인덱싱 문제를 해결하기 위해 IBM은 독립적으로 최적화할 수 있는 여러 하위 인덱스로 구성된 계층적 인덱싱 모델을 개발했습니다. 이 구조는 전체 데이터 세트를 중단하지 않고 증분 업데이트 및 로컬 재인덱싱을 가능하게 하여 가용성과 운영 효율성을 모두 향상시킵니다.
GPU 가속은 CPU 전용 접근 방식에 비해 인덱싱 시간을 크게 단축합니다. CPU에서 몇 시간이 걸리는 작업은 NVIDIA GPU를 사용하여 몇 분 안에 완료할 수 있습니다. 테스트에서 1,000억 개의 벡터에 대한 인덱스를 구축하는 데 6개의 NVIDIA H200 GPU를 사용하여 4일이 걸렸으며, 이는 듀얼 소켓 CPU 시스템에서 예상되는 120일에 비해 단축된 시간입니다.
벡터 및 인덱스를 포함한 전체 데이터 세트는 약 153TiB의 스토리지를 소비했습니다. 초기 데이터 로딩 및 파티셔닝에는 9일이 걸렸습니다. 결과 시스템은 90% 재현율로 평균 694ms의 쿼리 지연 시간을 제공했으며, 이는 무차별 대입 기준 진실 계산에 대해 검증되었습니다.
로드맵
IBM과 NVIDIA는 인덱싱 및 쿼리 지연 시간을 줄이는 데 중점을 두고 플랫폼을 계속 최적화하고 있습니다. 현재 목표는 하루 안에 1,000억 개 이상의 벡터를 인덱싱하고, 데이터 수집 시간을 9일에서 1일로 단축하며, 90% 재현율을 유지하면서 쿼리 지연 시간을 50-100밀리초 범위로 낮추는 것입니다.
표준 파일 시스템에 벡터 인덱싱을 통합하면 배포를 단순화하고 엔터프라이즈 AI 채택의 장벽을 낮출 수 있습니다. RAG 기능을 스토리지에 직접 내장함으로써 IBM은 CAS를 AI 지원 인프라의 기반 계층으로 포지셔닝하고 있습니다.
베이징 첸싱 지에통 기술 유한 회사
Sandy Yang / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
기술을 통해 지능형 세계를 구축하십시오! 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!
Sandy Yang / 글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
기술을 통해 지능형 세계를 구축하십시오! 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!