독일 스타트업 SereneDB의 Krummelanke는 검색과 분석을 하나의 제품으로 통합하여 세계에서 가장 빠른 데이터베이스 검색 엔진이라고 주장합니다.
이 회사는 AI 에이전트가 초당 수백 개의 하이브리드 검색 및 카운트 쿼리를 실행하지만, 프로덕션 환경의 모든 데이터베이스는 인간 사용자를 위해 구축되었다고 말합니다. Krummelanke 엔진은 고속 에이전트 규모의 데이터베이스 검색을 처리하도록 설계되었습니다. Krummelanke는 Apache 2.0 라이선스 하에 오픈 소스로 제공되며, Postgres 및 Elastic과 호환되고 S3에 저장된 데이터에 대한 전문 검색을 실행할 수 있습니다.
공동 창립자이자 CEO인 Alexander Malandin은 다음과 같이 말했습니다. “에이전트 중심의 미래는 무엇보다 데이터 로드 문제입니다. 오늘날 AI 에이전트는 단일 꽃을 방문하는 단일 벌과 같습니다. 곧 벌떼가 올 것입니다. 각 조직의 직원보다 더 많은 에이전트가 초당 수백 개의 쿼리를 실행할 것입니다. 인간 사용자를 위해 구축된 인프라는 해당 로드를 견딜 만큼 빠르지도 않고 비용 효율적이지도 않습니다. 에이전트 중심의 미래는 새로운 세대의 데이터베이스를 필요로 합니다. 초고속 검색과 초고속 분석을 하나의 엔진으로 통합하여 검색 작업은 나노초 단위로 측정되고 수십억 개의 레코드에 대한 질문은 밀리초 단위로 반환됩니다. 에이전트를 최우선 사용자로서 대하고, 그 규모를 견디며, 데이터가 어디에 있든 접근할 수 있는 데이터베이스입니다. 이것이 우리가 구축한 것이며, SereneDB Krummelanke를 통해 이를 프로덕션에 적용하고 있습니다.”
SereneDB는 Snowflake, BigQuery, DuckDB over Parquet와 같은 분석 엔진 및 레이크하우스는 기본적으로 S3에서 직접 열 데이터를 읽는다고 언급합니다. 대규모 순차 스캔은 객체 스토리지의 지연 시간 프로필에 적합하며, 전문 검색과는 다릅니다. 전문 검색은 단어나 숫자와 같은 콘텐츠 항목을 나열하고 테이블이나 문서 내의 위치에 매핑하는 역색인을 필요로 합니다. 역색인 검색은 많은 무작위 액세스를 생성합니다. 일반적으로 Lucene 기반 검색 엔진은 메인 레이크하우스 데이터 스토어와 분리된 빠른 로컬 스토리지에 인덱스를 저장합니다. SereneDB는 Elastic 배포 내의 “검색 가능한” 데이터는 가장 비싼 스토리지 계층인 플래시에 두 번째 복사본을 유지하는 것을 의미한다고 말합니다.
Cloudian HyperStore 검색과 같은 일반 객체 스토리지 데이터 검색과 SereneDB의 검색이 어떻게 다른지 물었습니다.
CTO인 Andrey Abramov는 다음과 같이 말했습니다. “Cloudian은 S3 호환 스토리지 공급업체이며 HyperSearch는 버킷에 연결된 서비스입니다. 저장된 객체의 메타데이터를 수집하고 해당 메타데이터를 기본 검색 구성 요소 내에 인덱싱합니다. 이는 데이터 복사를 통해 채워지는 별도의 인덱싱 시스템입니다. 많은 서비스가 이러한 방식으로 검색을 구현하며 잘 작동합니다.”
그러나 검색 엔진 코어 수준에서는 다음과 같습니다. “전 세계적으로 소수의 핵심 검색 기술 및 라이브러리만 존재합니다. Lucene, Tantivy, 그리고 SereneDB가 구축한 IResearch입니다. Elasticsearch, OpenSearch, Solr 및 기타 많은 것들은 Lucene 파생 제품이며 복사 우선 모델을 따릅니다. 로컬에 보유하지 않은 데이터는 검색할 수 없으므로 검색할 데이터는 추출, 전송 및 검색 클러스터로 복제되어야 합니다.”
SereneDB는 다르게 작동합니다. “SereneDB는 데이터가 이미 있는 곳에 인덱싱합니다. S3의 Parquet 파일 및 Iceberg 테이블은 여전히 진실의 원천입니다. 파생된 인덱스만 저장합니다. 검색 자체 – BM25 순위가 있는 전문 검색, 벡터 및 지리 검색 –은 작은 로컬 핫 세트로 해당 인덱스를 대상으로 실행됩니다. Iceberg 사용 사례는 구체적인 예시로 제공됩니다. 고객은 S3의 Iceberg 테이블에 변경 사항을 작성하고, SereneDB는 해당 업데이트를 가져와 검색 및 분석을 제공합니다. 동일한 테이블에 여러 SereneDB 노드를 가리킬 수 있습니다.”
객체 스토리지, 데이터베이스 또는 레이크하우스 공급업체가 Lucene 및 그 파생 제품에 대한 대안으로 SereneDB의 검색 엔진을 채택할 수 있는지 물었습니다. Abramov는 다음과 같이 말했습니다. “네, 물론입니다! 순수 Lucene 파생 제품인 ElasticSearch, OpenSearch, Solr, CrateDB를 대체할 뿐만 아니라 분석 기능을 추가하여 보강할 수도 있습니다. 예를 들어, ElasticSearch에서 마이그레이션하는 전용 문서를 유지하고 있습니다.”
이 회사는 검색 엔진 속도를 인기 있는 대안과 비교하는 벤치마크를 실행했으며 이를 능가했습니다. Abramov는 다음과 같이 말했습니다. “이러한 벤치마크의 목표는 SereneDB가 기존 검색 스택에 대한 더 빠르고 현대적인 대안임을 입증하는 것이었습니다.”
SereneDB의 SearchBench는 1억 및 10억 개의 OpenTelemetry 로그 레코드, ClickHouse에서 게시한 TextBench 데이터셋(레코드당 15개의 저장된 열)을 대상으로 실행된 92개의 검색 및 분석 쿼리를 포함합니다. 모든 테스트는 단일 서버에서 실행됩니다. 모든 경쟁 엔진은 게시된 구성 매개변수를 사용하여 조정되었으며, 쿼리당 60초의 시간 제한이 있었습니다. 이 제한을 초과하는 쿼리는 완료되지 않음으로 표시됩니다.
12개 이상의 인기 검색 엔진에 대한 벤치마크 결과는 대시보드에서 확인할 수 있습니다. 테스트된 엔진에는 4가지 구성의 Elasticsearch, OpenSearch, ParadeDB, CrateDB, ArangoDB, 행 및 열 스토어 변형이 있는 TigerDB, 일반 Postgres가 포함되며 추가 엔진이 추가될 예정입니다. 타이밍은 쿼리당 3번의 실행을 사용하며, 마지막 두 번의 실행 중 더 나은 결과를 사용합니다. 단일 클라이언트에서 한 번에 하나의 쿼리가 실행되며 결과 캐싱은 비활성화됩니다. 대시보드는 처리량보다는 지연 시간을 측정합니다.
대시보드의 결과 셀은 각 쿼리에 대해 가장 빠른 엔진에 대한 성능 비율을 보여주며, 가장 빠른 결과는 1.0x입니다. 전체 점수는 이러한 92개의 쿼리당 비율의 기하 평균으로 계산됩니다. SereneDB는 이 표준 비율 평균 방법이 단일 이상치 쿼리가 결과를 왜곡하는 것을 방지한다고 설명합니다.
SereneDB는 1억 레코드 데이터셋에서 1.05x, 10억 레코드 데이터셋에서 1.07x의 기하 평균을 달성합니다. 92개의 쿼리 전체에서 가장 빠른 엔진이거나 최고 속도의 몇 퍼센트 이내입니다. ElasticSearch는 1억 데이터셋에서 2.8x의 기하 평균으로 2위를 차지합니다. TigerData 열 스토어는 10억 데이터셋에서 2.24x를 기록하며 수많은 시간 초과가 발생합니다. 일반 Postgres는 1억 데이터셋에서 204x, 10억 데이터셋에서 50.69x에 도달합니다.
복잡한 대시보드 보기 외에 공급업체 간 비교를 단순화하기 위해 1억 벤치마크에 대한 정렬된 기하 평균 점수를 보여주는 차트를 스크린샷 데이터를 기반으로 만들었습니다.
성능 격차가 매우 크므로 10 이상의 점수는 제외하고 차트를 다시 그렸습니다. SereneDB가 주장하는 대로, 이 검색 엔진은 테스트 그룹을 선도합니다.
SereneDB는 2025년 베를린에서 EMC, Dell 및 ArangoDB에서 엔터프라이즈 영업 경험이 있는 CEO Alexander Malandin, Quest Software, EMC 및 ArangoDB에서 검색 R&D 경험이 있는 CTO Andrey Abramov, ArangoDB 및 YDB에서 근무한 핵심 엔지니어 Valery Mironov에 의해 설립되었습니다. 8명의 엔지니어 팀은 16년 이상 협력해 왔습니다. 검색 코어 IResearch는 2014년부터 개발 중입니다.
이 스타트업은 2025년 12월 Entourage와 High-Tech Gründerfonds가 주도하는 210만 달러의 사전 시드 자금 조달을 발표했습니다.
SereneDB Krummelanke는 Apache 2.0 라이선스 하에 오픈 소스로 제공되며 GitHub에서 사용할 수 있습니다.
베이징 첸싱지에통 기술 유한 회사
Sandy Yang/글로벌 전략 이사
WhatsApp / WeChat: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 통해 지능형 세상을 구축하십시오” 귀하의 신뢰할 수 있는 ICT 제품 서비스 제공업체!
담당자: Ms. Sandy Yang
전화 번호: 13426366826
Korean
