회사 소식 컨텍스트 그래프 도구 Jedify, AI 토큰 비용 75% 절감

제디파이 (Jedify) 는 AI를 컨텍스트 그래프 기술로 증강하는 것을 옹호하며, 그 솔루션이 AI 토큰 비용을 최대 4분의 3까지 줄일 수 있다고 주장합니다.

컨텍스트 그래프는 데이터베이스 스타일 구조 내에서 엔티티 관계 (사람, 제품, 위치 등) 를 저장합니다. 그래프 데이터베이스는 데이터를 노드 ( 엔티티) 와 엣지 (관계) 로 조직합니다.복잡한 상호 연결된 데이터의 빠른 이동을 위한 연결의 우선 순위, 테이블 기반 관계형 데이터베이스와 달리. 지식 그래프가 AI 워크로드에 서비스를 제공하지만, 컨텍스트 그래프는 또한 어떤 관계가 진실인지를 검증합니다.

제디파이 공동 창업자이자 CTO인 아디 엘리멜렉은 "이 업계의 많은 사람들이 토큰 효율성과 비용 효율성을 혼용하지만, 그들은 다릅니다.컨텍스트 그래프 안에 비즈니스 로직을 사전 코딩하면 모델이 모든 질의에 대해 처음부터 추론하지 않습니다.이는 공급자의 구현에 관계없이 핵심 메커니즘입니다.

모든 쿼리에 대한 AI에 전체 데이터베이스 스키마를 공급하는 대신 Jedify의 컨텍스트 그래프는 비즈니스 로직 정의, 계산, 관계 및 규칙을 구조화된 지식 데이터베이스에 미리 코딩합니다.비즈니스 변화와 함께 자율적으로 업데이트하고 확장합니다., 새로운 데이터, 관계 및 규칙을 섭취합니다. 사용자 질의에 따라 관련 엔티티만 검색되며 LLM에 콤팩트하고 정확한 맥락을 제공합니다.

제디파이는 3개의 복잡도 레벨을 아우르는 100개의 비즈니스 질문에 대한 생산·고고 벤치마킹을 수행했습니다.SQL 생성 호출 당 036개의 원시 토큰, 올바른 응답률 87%반면, 기존의 스키마 주입 방식은 60~70%의 정확도로 매 호출에 5만~15만 토큰을 소비합니다. CHESS과 같은 스키마 주입 기반 멀티 에이전트 시스템은 거의 339,000 토큰을 소비합니다.요청당 965개의 토큰참고: 이 참조 기준은 서로 다른 스키마와 질문 세트를 가진 외부 연구에서 비롯되었으며, 병행 창고 테스트는 아닙니다.

토큰 ROI 프레임워크의 비용과 정확성을 균형있게 측정하면 Jedify의 접근 방식은 스키마 주입 워크플로우보다 4.6배 더 높은 수익률과 기본 멀티 에이전트 파이프라인보다 20배 더 높은 수익률을 제공했습니다.스키마 주입은 60~70%의 올바른 출력을 달성했습니다., 제다이파이는 그래프 커버리지 내의 엔티티에 대한 높은 정확도를 얻었습니다.

100 테이블 엔터프라이즈 스케일에서 컨텍스트 그래프는 SQL 호출 당 토큰 주입을 200 테이블에서 토큰 절약이 75%를 초과 한 것과 비교하여 약 50% 감소했습니다.

엘리멜렉은 또한 데이터 소유의 이점을 강조했습니다.그래서 당신은 모든 요청에 국경 모델 제공자에게 전체 스키마와 결합 필터 규칙을 노출하지 않습니다.

SQL 생성 전에 필요한 엔티티에만 필터링함으로써 컨텍스트 그래프는 모델 추론 부하를 낮추고 있습니다.생산 라우팅 분석에 따르면 기업 분석 질의의 약 85%는 정확성 손실이 미미한 프리미엄 국경 LLM 대신 더 저렴한 오픈 소스 모델에서 실행 될 수 있습니다., 인프라 지출을 줄입니다.

관련 백서를 여기에서 다운로드하세요.

베이징 첸징 지에텐 기술 회사, Ltd
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요