新的 Dataproc Apache 和 可选组件支持 Docker Flink (新的大台阶,达到()水平)

新的 Dataproc Apache 和 可选组件支持 Docker Flink (新的大台阶,达到()水平)

Google Cloud 的 top="920.890625">Dataproc 中的 Docker 容器

Docker 是一种广泛使用的容器技术。由于它现在是>

此外,Docker 对于支持以下这些功能也至关重要:

1.通过 YARN 运行容器

2.可移植 Apache Beam 作业

在 YARN 中运行容器使您能够单独管理您的 YARN 应用程序的依赖性,并且允许您在 YARN 中创建容器化的服务。可移植 Apache Beam 将作业打包到 Docker 容器,并将其提交至 Flink 集群。了解有关 Beam 可移植性的更多信息。

除了默认的 Docker registry,还可对 Docker 可选组件进行配置以使用 Google Container Registry。这使您能够使用由您的组织管理的容器镜像。

以下是利用 Docker 可选组件创建>

gcloud beta>--optional-components=DOCKER \--image-version=1.5
复制代码

当您运行 Docker 应用程序时,使用 gcplogs 驱动程序,日志将被传至 Cloud Logging。

如果您的应用程序不依赖任何 Hadoop 服务,核实 Kubernetes 和 Google Kubernetes Engine 是否以原生方式运行容器。要了解有关 target="_blank">参阅我们的相关文档。

基于>在流分析技术中,Apache Beam 和 Apache Flink 更加出色。Apache Flink 是一个基于有状态计算的分布式处理引擎。Apache Beam 是定义批处理和流处理管道的统一模式。使用 Apache Flink 作为扩展引擎,除了 Google 的 Cloud>

声明:本文来自用户分享和网络收集,仅供学习与参考,测试请备份。