无代理数据摄入方案
通过某中心与某机构的深度技术合作，现可基于Google Dataflow模板实现从Google Pub/Sub到Elastic Stack的零安装数据流传输。该方案支持直接处理Google Cloud Audit、VPC Flow及防火墙日志，无需部署Filebeat或Elastic Agent等数据采集器。
技术架构解析
核心组件说明
- Google Pub/Sub: 无服务器异步消息服务，用于承接来自Google Operations Suite的数据流
- Google Dataflow: 基于Apache Beam的无服务器数据处理服务，替代传统数据采集器
- Elastic Stack: 提供数据解析、存储及可视化能力，支持Elastic Cloud与自建部署
数据流处理流程
- 日志数据通过Google Operations Suite推送至Pub/Sub主题
- Dataflow模板自动执行数据格式转换（替代Filebeat的轻量处理功能）
- 处理后的数据通过Elasticsearch摄入管道接入Elastic Stack
- 在Kibana的[Logs GCP]仪表板实现实时可视化
配置实践指南
前置条件
- 在Google Cloud Console创建Pub/Sub主题与订阅
- 获取Elastic Cloud的Cloud ID及Base64编码API密钥
部署步骤
- 在Dataflow控制台选择"从模板创建任务"
- 从下拉菜单选择"Pub/Sub to Elasticsearch"模板
- 填写必需参数：
- Elasticsearch Cloud ID
- API密钥（通过Create API key API生成）
- 日志类型参数（如审计日志需填写"audit"）
- 启动任务后约数分钟完成部署
效果验证
部署完成后可直接在Kibana界面查看实时解析的日志数据，所有操作均无需离开Google Cloud Console界面，亦无需维护虚拟机或代理程序。
技术优势
- 架构简化: 消除VM部署和数据采集器维护成本
- 无缝集成: 保持与现有Elasticsearch摄入管道的兼容性
- 跨环境支持: 适用于Elastic Cloud、Google Marketplace及自建环境
该方案显著降低了运维复杂度，使开发者和安全分析师能够专注于核心业务逻辑而非基础设施维护。