Databricks는 Lakehouse에서 분석 및 트랜잭션 처리를 통합하여 대규모 실시간 쿼리 및 에이전트 마케팅 기능을 추가했습니다. 이 업데이트는 샌프란시스코 데이터 + AI 서밋(San Francisco Data + AI Summit)에서 발표되었으며 30,000명 이상의 현장 참석자가 모였습니다.
새로운 LTAP(Lake Transactional/Analytical Process) 아키텍처는 공유 스토리지 계층을 통해 OLAP와 OLTP를 통합합니다. 서버리스 Postgres 기반 Lakebase와 Lakehouse를 하나의 통합 거버넌스, 단일 정보 소스, 운영, 분석 및 스트리밍 데이터를 위한 공유 스토리지로 통합합니다.
컴퓨팅 계층 OLAP/OLTP 통합 도구와 달리 LTAP는 스토리지 계층에서 데이터를 통합합니다. 추가 파이프라인 없이 운영 데이터를 즉시 분석할 수 있도록 하여 성능 손실 없이 트랜잭션 및 분석 워크로드의 독립적이고 완전히 격리된 확장을 지원합니다. 개방형 표준을 기반으로 구축되어 모든 Postgres 호환 앱 및 Delta/Iceberg 테이블 리더와 작동합니다.
Databricks의 공동 창업자이자 CEO인 Ali Ghodsi는 "복잡한 데이터 인프라는 오랫동안 비즈니스 오버헤드였습니다. AI 에이전트는 기업 인력 용량을 빠르게 확장했지만 레거시 시스템은 주요 병목 현상이 되었습니다. LTAP는 이 문제를 해결합니다."라고 말했습니다.
LTAP는 Lakebase를 기반으로 구축되어 Postgres 트랜잭션을 Lakehouse 객체 스토리지로 가져옵니다. 컴퓨팅과 스토리지를 분리하면 대규모 동시 앱과 AI 에이전트를 실행하는 데 드는 비용이 대폭 절감됩니다. 작년에 출시된 Lakebase는 Block, Zillow 및 Superhuman을 포함한 수천 명의 고객에게 서비스를 제공하며 매일 1,200만 건의 데이터베이스 실행을 처리합니다.
이전에는 Lakebase와 Lakehouse가 공유 스토리지에도 불구하고 별도의 데이터 복사본과 형식을 유지했습니다. LTAP는 중복 중복을 제거하여 표준 Lakehouse 개방형 형식으로 Unity 카탈로그에 모든 데이터를 저장합니다. 통합된 ID, 권한 및 감사 규칙은 일관된 거버넌스를 제공하여 AI 에이전트가 신뢰할 수 있는 하나의 데이터 소스에서 작동할 수 있도록 합니다.
트랜잭션 워크로드는 전체 Postgres ACID 규정을 준수하는 반면, 분석 워크로드는 무제한의 규모와 동시성으로 실행됩니다. 데이터 이동이 전혀 없어 ETL이 필요 없이 일관된 운영 및 분석 결과를 보장합니다. Lakebase는 클라우드 간/지역 간 재해 복구, 안전한 프로덕션 테스트를 위한 Git 스타일 분기/스냅샷, 모니터링, 최적화 및 복구를 위한 AI 기반 자율 데이터베이스 운영이라는 세 가지 주요 업그레이드를 추가합니다.
Databricks는 새로운 Reyden 컴퓨팅 엔진으로 구동되는 실시간 Lakehouse인 Lakehouse//RT를 출시했습니다. Unity 카탈로그의 관리형 Delta Lake 및 Iceberg 테이블에서 기본적으로 실행되는 대규모 동시 사용자 및 AI 에이전트에 대해 밀리초 수준의 지연 시간을 제공합니다. 별도의 권한, 독점 형식 및 동기화 파이프라인을 제거하여 독립형 실시간 서비스 레이어 비용을 제거합니다.
"우리는 10년 동안 개방형 인프라에서 핵심 데이터 워크로드를 통합해 왔습니다. Lakehouse//RT는 스택을 완성하여 최신 분석 및 AI 에이전트에 중요한 저지연 레이어를 제공하여 Lakehouses가 실시간 워크로드에서도 선두를 달리고 있음을 입증했습니다."라고 Ghodsi는 덧붙였습니다.
Lakehouse//RT는 소규모 데이터 세트의 경우 10ms 대기 시간을 달성하고 대규모 데이터의 경우 100ms 미만의 대기 시간을 달성합니다. 벤치마크는 12,000 QPS에서 100ms 미만의 대기 시간을 보여 주며, 고객 워크로드는 기존 실시간 서비스 시스템에 비해 최대 16배의 성능을 얻습니다.
Databricks는 또한 기본 Lakehouse 기반 에이전트 CDP인 CustomerLake를 선보였습니다. CDPI에서 정의한 대로 CDP는 다중 소스 고객 데이터를 통합 프로필로 통합합니다. CustomerLake는 웹사이트, 앱, CRM 및 POS 시스템의 데이터를 통합하여 일회성 마케팅 캠페인을 지속적인 상담원 중심의 "무한 캠페인"으로 대체하여 수십억 규모의 맞춤형 실시간 고객 경험을 제공합니다.
전용 캠페인 및 프로필 에이전트, 개방형 파트너 에코시스템 및 기본 역방향 ETL을 갖추고 있어 마테크 스택 전체에서 고객 데이터를 통합하고 활성화합니다. Lakewatch에 이어 Databricks의 두 번째 수직 엔터프라이즈 제품으로 기존 소프트웨어 라이선스 대신 가치 기반 소비 모델을 채택했습니다.
유효성: Lakehouse//RT는 베타 버전입니다. LTAP는 곧 Lakebase 기능으로 출시될 예정입니다. CustomerLake는 HP, Circle K, AB InBev 및 Santander's Getnet을 포함한 얼리 어답터와 함께 비공개 미리 보기로 제공됩니다. 특히 벡터 데이터베이스 회사인 Zilliz는 Milvus Vector Lakebase에 "Lakebase"라는 용어를 다르게 적용합니다.
베이징 Qianxing Jietong Technology Co., Ltd.
양샌디/글로벌 전략 이사
WhatsApp/위챗: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
사업 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로 당사는 선도적인 글로벌 브랜드와 협력하여 신뢰할 수 있는 제품과 전문 서비스를 제공합니다.
“기술을 활용한 지능형 세상 구축” 신뢰할 수 있는 ICT 제품 서비스 제공업체!
귀하의 메시지는 20-3,000 자 사이 여야합니다!
Korean
