구조화되지 않은 데이터 관리 회사인 Komprise는 대규모 구조화되지 않은 데이터 세트를 동적으로 분할할 수 있는 특허 기술을 개발했습니다.이 솔루션은 인공지능 처리 GPU에 데이터 전송 중에 여러 컴퓨팅 엔진에 작업 부하를 분배합니다., 전체 처리 속도를 크게 가속화합니다.
공식 특허 US-12566637-B2로 등록 된 Komprise 탄력성 주식 (KES) 기술은 Komprise CTO 마이클 피어시와 그의 연구 팀이 제출했습니다.공식 제목은 여러 계산 엔진에 의해 동작을 실행하기 위해 알려지지 않은 나무를 분할하는 시스템 및 방법.
피어시는 "유연한 공유는 우리의 고객들이 귀중한 컴퓨팅, 메모리 및 네트워크 자원을 완전히 활용할 수 있도록 합니다. 기술은 거의 선형적인 성능 확장성을 제공합니다.기업들이 눈에 띄는 경쟁 우위를 확보하도록 돕는 것.
분석, LLM 추론 또는 AI 에이전트 계산을 위해 AI 서버에 전송되는 페타바이트 규모의 데이터 세트에 대해단일 컴퓨팅 엔진은 디렉토리 트리 또는 객체 저장 전자를 통과하기 위해 몇 시간을 필요로 합니다.계산 엔진은 독립적인 서버, 개별 스레드, 스레드 그룹, 프로세스 또는 프로세스 클러스터로 정의될 수 있으며, 모든 시나리오에서 일관된 운영 원칙을 가지고 있습니다.비록 사용자가 병렬 컴퓨팅을 위해 여러 엔진을 미리 배포할 수 있지만, 정적 할당은 종종 비효율성을 유발합니다. 불규칙한 가지 크기는 특정 컴퓨팅 노드가 할당된 작업을 완료하는 느린 노드를 기다리는 동안 일찍 종료하고 비활성 상태로 남아있는 결과를 초래합니다.
코프라이즈 특허 US-12566637-B2.
피어시의 팀은 컴퓨터 엔진에 내장된 지능적인 작업 스케줄러를 발명하여 노드 상태를 실시간으로 모니터링합니다.작업 부하가 초기에는 사용 가능한 컴퓨팅 엔진에 분배됩니다.. 어떤 노드도 할당된 파티션을 완료하면 대기 작업을 수신하기 위해 리소스 풀로 돌아갑니다. 이 메커니즘은 휴식 시간을 제거합니다.무료 컴퓨팅 노드에 지속적으로 새로운 워크로드를 할당합니다., 전체 처리 기간을 단축합니다.
공식적인 Komprise 블로그 포스트에 따르면, KES는 스트리밍 방식으로 서버 클러스터에 대해 구조화되지 않은 데이터 워크로드를 역동적으로 재분배합니다.이 기술은 데이터 세트 용량에 대한 사전 정보를 요구하지 않고 대규모 데이터 처리에서 거의 선형적인 속도를 달성합니다., 내부 구조 또는 처리 지연.
간단히 말해서, 모든 컴퓨팅 노드는 현재 임무를 완료한 즉시 새로운 작업을 자동으로 받습니다. 전체 데이터 작업이 완료될 때까지 자원의 사용량을 유지합니다.
마이클 피어시
특허 문서는 파일 서버 또는 저장 볼륨 사이의 대규모 데이터 마이그레이션 작업이 종종 긴 시간 제한에 직면한다는 것을 나타냅니다. 단일 컴퓨팅 노드, 스레드,프로세스 또는 독립 서버, 무거운 작업 부하를 신속하게 완료 할 수있는 충분한 처리량이 부족하여 멀티 엔진 병렬 처리 솔루션이 필수적입니다.
이 문서는 또한 디렉토리 트리 구조를 루트에서 잎 노드까지의 재귀적 트러버레이스 과정에서만 식별 할 수 있다고 설명합니다.하위 폴더와 파일보다 부모 디렉토리를 우선 순위 지정하는 것과 같은이것은 엄격한 정적 파티션 대신 실시간 동적 워크로드 세그먼테이션을 요구하며, 이는 다양하고 알려지지 않은 데이터 아키텍처에 적응해야합니다.
이 특허 기술을 파일, 폴더, 저장 객체 및 객체 접두기에 적용합니다.모든 형태의 컴퓨팅 엔진과 호환됩니다.스레드, 프로세스 및 백엔드 서비스 클러스터를 포함합니다.
코프라이스는 KES 기술로 인한 세 가지 주요 장점을 강조합니다.
-
동적 작업 분할: 고부가가치 컴퓨팅 리소스는 비활성화되면 즉시 새로운 작업으로 재분배됩니다.
-
실명 데이터 처리: 이 시스템은 데이터 크기와 내부 구조 및 변수 처리 지연 시간을 미리 인식하지 않고 데이터 세트 계산을 지원하며 AI 스트리밍 데이터 전송 시나리오에 완벽하게 적합합니다.
-
지능적인 자원 재균형: 자동으로 할당 전략을 최적화하여 예측할 수 없는 분기 밀도를 가진 구조화되지 않은 데이터 계층에 적응합니다.
이 혁신적인 특허 기술을 통해 대규모 구조화되지 않은 데이터 컴퓨팅에 실용적이고 효율적인 최적화를 제공합니다.
베이징 첸징 지에텐 기술 회사, Ltd
샌디 양/글로벌 전략 책임자
왓츠앱 / 위ቻ트: +86 13426366826
이메일: yangyd@qianxingdata.com
웹사이트: www.qianxingdata.com/www.storagesserver.com
비즈니스 초점:
ICT 제품 유통/시스템 통합 및 서비스/인프라 솔루션
20년 이상의 IT 유통 경험을 바탕으로, 우리는 신뢰할 수 있는 제품과 전문적인 서비스를 제공하기 위해 세계적인 대표 브랜드와 파트너십을 맺습니다.
지능형 세계를 만들기 위해 기술을 사용하세요
귀하의 메시지는 20-3,000 자 사이 여야합니다!
Korean
