Google宣布Cloud AI平台管道以简化机器学习开发

最近Google宣布Cloud AI平台管道以简化机器学习开辟这个话题,相信很多小伙伴都是非常有兴趣了解的吧,一段好的故事可以给读者带来很多值得深思的新东西,甚至还可以在一定程度上让读者的视野在瞬间扩大,那么既然现在大家都想要知道此类的信息,今日小编将给带来关于Google宣布Cloud AI平台管道以简化机器学习开辟的资讯!

Google在最近的博客文章中宣布了Cloud AI Platform Pipelines的beta版本,该版本为用户提供了一种部署茁壮,可重复的机器学习管道以及监视,审核,版本跟踪和可再现性的方法。

借助Cloud AI Pipelines,Google可以帮助组织采纳机器学习操作的实践,也称为MLOps –应用DevOps实践的术语,以帮助用户自动化,治理和审核ML工作流。通常,这些做法涉及数据准备和分析,培训,评估,部署等。

使用Cloud AI Platform Pipelines,用户可以使用Kubeflow Pipelines(KFP)软件开辟工具包(SDK)或通过使用TFX SDK 自定义TensorFlow Extended(TFX) Pipeline模板来指定管道。后者当前由库,组件和一些二进制文件组成,并且开辟人员应为手头的任务选择正确的抽象级别。此外,TFX SDK包括一个库 ML元数据(MLMD),用于记录和检索与工作流程相关的元数据。该库也可以独立运行。

Google建议将KPF SDK用于完全自定义的管道或使用预建KFP组件的管道,并针对基于TensorFlow的E2E ML管道使用TFX SDK及其模板。请注意,随着时间的流逝,Google在博客文章中指出这两种SDK体验将会融合。最后,SDK将编译管道并将其提交给Pipelines REST API。AI Pipelines REST API服务器存储并调度执行管道。

对Kubernetes编排并行作业的开放源码容器天然工作流引擎称为Argo的运行管道,其包括附加到微服务记录的元数据,手柄组件IO,和时间表管道运行。Argo工作流引擎在GKE集群中的各个独立Pod上执行每个管道,从而使每个管道组件都能利用Google Cloud服务,例如Dataflow,AI Platform Training and Prediction,BigQuery等。此外,管线可以包含在集群中执行可观的GPU和TPU计算的步骤,直接利用自动缩放和节点自动配置等功能。

AI Platform Pipeline运行包括使用MLMD的自动元数据跟踪-并记录在每个管道步骤中使用的工件,管道参数以及跨输入/输出工件的链接,以及创建和使用它们的管道步骤。

(0)
上一篇 2022年7月10日
下一篇 2022年7月10日

相关推荐