Zilliz는 오픈 소스 벡터 데이터베이스인 Milvus v3.0을 출시하여 레이크 기반 데이터 액세스와 프로덕션 AI 개발자를 위한 업그레이드된 검색 엔진을 추가했습니다.
레이크 네이티브 아키텍처는 원시 데이터를 독립형 데이터베이스에 복제하는 대신 클라우드 객체 스토리지에 개방형 형식으로 보관합니다. Zilliz는 6월 공개 미리보기에서 Vector Lakebase 개념을 공개했습니다. CEO Charles Xie는 이를 데이터 복사, 마이그레이션 또는 병렬 스토리지 스택 없이 실시간 쿼리, 데이터 탐색 및 멀티 페타바이트 AI 교육 파이프라인을 지원하는 통합 데이터 기반이라고 설명했습니다. 통합 개체 스토리지 계층은 동일한 소스 파일에 대한 지연 시간이 짧은 온라인 벡터 검색과 대규모 분석을 모두 지원합니다.
Zilliz 공동 창립자이자 CTO인 James Luan은 "Milvus 3.0은 기존 데이터 저장소에서 직접 프로덕션 검색을 실행하고 최신 AI 워크로드를 위한 보다 강력한 엔진을 제공합니다. 이 동일한 코어는 대규모 AI 데이터 관리를 위한 탄력적인 확장, 단순화된 운영 및 엔터프라이즈급 도구로 향상된 Zilliz Vector Lakebase를 지원합니다."
벡터 데이터베이스는 유사성 검색을 강화하기 위해 텍스트, 이미지 및 기타 콘텐츠에 대한 수치 벡터 임베딩을 저장합니다. Zilliz에 따르면 Milvus는 세계에서 가장 널리 사용되는 오픈 소스 벡터 데이터베이스로 10,000개 이상의 회사에서 RAG, 추천 엔진 및 AI 에이전트를 위해 채택했으며 1억 건 이상의 Docker 풀이 기록되었습니다.
기존 AI 파이프라인은 실시간 검색 및 오프라인 분석을 위해 별도의 데이터 복사본을 유지하므로 추가 스토리지 비용, 긴 데이터 내보내기, 동기화 파이프라인 및 과도한 운영 오버헤드가 발생합니다.
핵심 Milvus 3.0 기능
1.외부 컬렉션: Lance, Iceberg, Parquet 또는 Vortex의 호수 파일에 Milvus 컬렉션을 만듭니다. 시스템은 소스 데이터에 중복 없이 벡터, 전체 텍스트, JSON 및 스칼라 인덱스를 구축하고 이를 표준 네이티브 API를 통해 노출합니다. 증분 동기화는 레이크 데이터 변경에 따라 인덱스를 자동으로 업데이트합니다.
2.Loon 스토리지 엔진: 개방형 Arrow 호환 Vortex를 기본 열 형식으로 사용하여 지연 시간이 짧은 객체 스토리지 조회를 위한 읽기 증폭을 줄이는 새로운 매니페스트 기반 엔진입니다.
3. 특정 시점 스냅샷: 가벼운 읽기 전용 컬렉션 스냅샷을 사용하면 프로덕션 쓰기를 방해하지 않고 안정적인 데이터 세트에서 오프라인 중복 제거, 평가 및 검증 작업을 실행할 수 있습니다.
4.Spark 커넥터 및 배치 연산자: Spark DataSource V2 커넥터는 중복 제거 및 클러스터링을 위한 기본 벡터 배치 기능과 함께 Milvus를 Spark, Databricks 및 EMR 배치 워크플로우와 통합합니다.
표준 Top-K 벡터 검색은 거리 계산을 통해 가장 유사한 벡터만 가져오므로 벡터 수와 차원이 높아 스케일링이 제대로 이루어지지 않습니다. Milvus 3.0은 기본적인 최근접 이웃 검색을 훨씬 뛰어넘는 검색 기능을 확장합니다.
1. 서버측 정렬, 집계 및 패싯 검색은 의미론적 유사성을 메타데이터 필터(타임스탬프, 가격, 카테고리, 테넌트 등)와 결합하여 클라이언트측 사후 처리를 제거합니다.
2.StructList 다중 벡터 검색은 다중 임베딩(문서 청크, 이미지 패치, 다중 모드 제품 데이터)이 있는 엔터티를 지원하고 ColBERT 및 ColPali와 같은 후기 상호 작용 모델과 함께 작동합니다.
3. 최적화된 희소 인덱스는 SINDI 학습 희소 벡터, 내장 MinHash, 널 입력 가능 벡터 필드, 사용자 정의 전체 텍스트 사전 및 더 넓은 Faiss 인덱스 호환성과 결합되어 원래 리콜 성능과 일치하면서 스토리지 공간을 최대 70%까지 줄입니다.
Luan은 프로덕션 AI 워크로드에는 기본적으로 데이터베이스 내에서 순위 지정, 그룹화 및 다중 벡터 조회가 필요하며 v3.0 재작업된 스토리지는 더욱 풍부한 엔진 내 처리와 함께 빠른 객체 스토리지 액세스를 제공한다고 덧붙였습니다.
이 통합 코어는 자체 호스팅 오픈 소스 Milvus와 완전 관리형 Zilliz Cloud를 모두 지원합니다. Zilliz Cloud는 AI 데이터의 단일 소스에 대한 탄력적인 컴퓨팅, 검색 도구, 배치 분석, 통합 인덱싱, 엔터프라이즈 거버넌스 및 자동화를 통해 기본 엔진을 완전한 Vector Lakebase로 확장합니다.
업계 경쟁 상황
이 업데이트는 경쟁사인 Pinecone, Qdrant 및 Weaviate에 대한 압력을 가중시켜 검색 대기 시간을 줄이기 위해 경쟁하고 있습니다. Qdrant는 4월에 더 빠른 인덱싱, 고가용성 클러스터 및 규정 준수 감사 로그를 출시했습니다. Pinecone은 에이전트 워크플로우를 가속화하기 위해 5월에 사전 계산된 벡터 세트와 구성 가능한 검색기를 출시했습니다.
순수 벡터 데이터베이스 공급업체는 Regatta, SingleStore 및 SurrealDB를 포함한 다중 모델 플랫폼과 경쟁합니다. Databricks 및 Snowflake와 같은 레이크하우스와 통합되는 동안 더 깊은 데이터베이스 간 파트너십은 아키텍처 및 스토리지 엔진 장벽에 직면합니다. 시장에서는 벡터 플레이어가 시간이 지남에 따라 기본 구조, 그래프, 문서 또는 시계열 지원을 추가하는 것을 볼 수 있습니다.
유효성
Milvus 3.0은 Apache 2.0 라이선스에 따라 LF AI 및 데이터 졸업 프로젝트로 남아 있으며, 에어 갭 환경을 포함하여 Docker 또는 Kubernetes를 통해 배포할 수 있으며 S3, GCS 및 Azure Blob 개체 스토리지와 호환됩니다. 초기 SDK 범위에는 Python, Go 및 Node.js가 포함되며 Java도 곧 지원될 예정입니다. 소스 코드, 릴리스 정보 및 빠른 시작 가이드는 개발자 지원을 위한 커뮤니티 근무 시간과 함께 GitHub에서 호스팅됩니다.
Managed Zilliz Cloud는 Milvus 3.0을 핵심 인덱싱 레이어로 내장하여 단일 공유 데이터 복사본에 엔터프라이즈 탄력성, 보안 및 통합 운영을 추가합니다.
각주
외부 컬렉션은 데이터 마이그레이션 없이 무복제 레이크 인덱싱을 구현합니다. Loon은 이전에 지연 시간이 짧은 벡터 쿼리를 위해 객체 스토리지를 제한했던 읽기 증폭 병목 현상을 해결합니다.
베이징 Qianxing Jietong Technology Co., Ltd.
양샌디/글로벌 전략 이사
WhatsApp/위챗: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
사업 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 당사는 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 활용한 지능형 세상 구축” 신뢰할 수 있는 ICT 제품 서비스 제공업체!
귀하의 메시지는 20-3,000 자 사이 여야합니다!
Korean
