Komprise通过非结构化数据摄取引擎提升AI准确性与安全性

Komprise，分析驱动型非结构化数据管理领域的领导者，宣布其Komprise Intelligent AI Ingest全面上市。这款新型智能数据工作流摄取引擎能够加速跨分散存储孤岛的非结构化数据筛选过程，为AI应用提供精准数据支持。

非结构化数据摄取至AI的主要问题

AI、RAG、LLM结果不理想：非结构化数据缺乏组织，包含大量无关、过时和重复文件。这会降低精度、污染上下文窗口并增加AI管道延迟。研究表明，在典型RAG中，每增加10,000个非结构化文档会导致效率下降10%，从而降低准确性并产生不良结果。
推理成本高昂：无关的非结构化数据浪费昂贵的AI处理资源，推高成本，降低准确性，最终侵蚀AI投资回报率。在AI推理过程中，每次提示都会进行数据增强，导致成本叠加。
敏感数据泄露安全风险：批量摄取数据可能导致敏感数据在AI工具中意外暴露，违反隐私、安全和合规政策。

元数据丰富的全局文件索引：Komprise自动构建元数据，提供企业内所有文件数据的单一视图，使您能够通过简单查询精确找到适合AI用例的数据。
精准筛选提升RAG效率：与提供连接器盲目复制源数据的传统ETL和数据摄取方法不同，Komprise采用精细化方法，通过丰富过滤器在摄取过程中消除低质量和敏感数据。
2倍摄取性能提升：在与某主要云提供商的数据传输工具基准测试中，Komprise性能提升一倍。这得益于专为AI优化的传输引擎，最大限度减少文件开销，并得到大规模并行架构支持。
高性能并行架构：Komprise弹性网格架构在多个网络接口、共享引擎和线程池之间进行分层并行化。这使得解决方案能够快速索引和丰富数十亿文件的元数据，并根据需要将大量文件移动到不同的AI工具和服务。
内置PII和敏感数据处理：Komprise提供标准和自定义敏感数据分类，降低敏感数据泄露和合规违规风险。
自动化数据治理审计：Komprise自动维护每个摄取工作流的审计跟踪，记录谁、什么、何时以及数据血缘关系，用于合规报告。

“我们的使命是帮助组织理清非结构化数据的混乱，通过AI获得最大竞争优势，“Komprise首席执行官Kumar K. Goswami表示。“Komprise Intelligent AI Ingest是智能数据工作流中的最新进展，解决了客户在高效查找并将正确数据移至AI系统的关键痛点。”

“随着组织加速向数据驱动转型，数据存储管理服务(DSMS)解决方案正在演变为能够实现远超存储管理功能的智能平台，“Gartner*指出。“现代数据存储管理服务(DSMS)解决方案是业务分析和生成式AI(GenAI)计划的基础，通过使数据更易发现、更具上下文和可操作性，帮助企业释放数据的全部价值。”

Komprise与领先的存储和云平台供应商合作，使您能够在正确的时间将数据自由移动到正确的位置。Komprise最近新增了两个AI生态系统合作伙伴：

NVIDIA：NVIDIA客户可以将正确的非结构化数据摄取到NVIDIA GPU-Direct存储和NVIDIA NeMo数据存储中，并使用Komprise自动管理AI数据生命周期。作为NVIDIA Connect合作伙伴，Komprise与NVIDIA合作，为模型训练和推理筛选AI就绪的非结构化数据。
SUSE Linux：Komprise允许SUSE Rancher客户编录其非结构化数据，进行分析，并将正确数据摄取到Rancher中用于AI用例。这一合作有助于两家公司为AI就绪数据和数据生命周期管理开发经过验证的联合解决方案。