跳过运维开销

Pub/Sub是一种流行的无服务器异步消息服务，用于从Google Operations（原Stackdriver）、基于Google Cloud服务构建的应用程序或其他流数据集成管道中传输数据。传统上，将Google Cloud审计日志、VPC流日志或防火墙日志传输到Elastic Stack等第三方分析解决方案需要先将日志发送到Google Operations，再转到Pub/Sub。

日志进入Pub/Sub后，用户需要选择摄取方法将消息传输到第三方分析解决方案。常见的做法是在Google Compute Engine虚拟机（VM）上安装Filebeat、Elastic Agent或Fluentd，然后通过这些数据传送器将数据从Pub/Sub发送到Elastic Stack。配置虚拟机和安装数据传送器需要过程和管理开销。能够跳过这一步，直接从Pub/Sub将数据摄取到Elastic对许多用户来说非常有价值——特别是只需在Google Cloud控制台中点击几下即可完成。现在，这可以通过Google Dataflow的下拉菜单实现。

简化数据摄取

Google Dataflow是基于Apache Beam的无服务器异步消息服务。可以使用Dataflow代替Filebeat，直接从Google Cloud控制台传输日志。双方团队合作开发了开箱即用的Dataflow模板，可将日志和事件从Pub/Sub推送到Elastic。该模板以无服务器方式取代了之前由Filebeat完成的轻量级处理（如数据格式转换）——对于之前使用Elasticsearch摄取管道的用户来说无需其他更改。

以下是数据摄取流程的摘要。该集成适用于所有用户，无论他们是在Elastic Cloud、Google Cloud Marketplace中的Elastic Cloud还是自管理环境中使用Elastic Stack。

开始使用

本节将逐步介绍如何使用Dataflow模板在Elastic Stack中分析GCP审计日志。审计日志包含帮助您回答Google Cloud账户中操作变更的“地点、方式和时间”问题的信息。通过Pub/Sub模板，您可以在几秒钟内将审计日志从GCP流式传输到Elasticsearch并获取洞察。

首先直接从Kibana Web UI安装Elastic GCP集成，其中包含预构建的仪表板、摄取节点配置和其他资产，帮助您充分利用摄取的审计日志。

在配置Dataflow模板之前，您需要从Google Cloud控制台创建一个Pub/Sub主题和订阅，以便从Google Operations Suite发送日志。接下来，导航到Google Cloud控制台配置Dataflow作业。

在Dataflow产品中，点击“从模板创建作业”，然后从Dataflow模板下拉菜单中选择“Pub/Sub to Elasticsearch”。填写所需参数，包括您的Cloud ID和Base64编码的Elasticsearch API密钥。由于我们正在流式传输审计日志，因此添加“audit”作为日志类型参数。Cloud ID可以从Elastic Cloud UI中找到，如下图所示。API密钥可以使用Create API key API创建。点击“运行作业”，等待Dataflow执行模板，这大约需要几分钟时间。

如您所见，您无需离开Google Cloud控制台或管理代理！现在，导航到Kibana，在[Logs GCP]仪表板中查看解析和可视化的日志。

总结

某中心不断让客户更轻松、更无缝地在他们想要的地方运行并使用他们想要的东西——这种与某机构的简化集成是最新的例子。某中心云扩展了Elastic Stack的价值，使客户能够更快地完成更多工作，使其成为体验平台的最佳方式。有关集成的更多信息，请访问某机构的文档。要开始在某机构上使用某中心，请访问某机构云市场或某中心官网。