vlambda博客
学习文章列表

数据科学家一直在探索和使用机器学习（ML）和深度学习（DL）数据库中的最新内容。这增加了数据工程师在生产环境中管理和监控模型分类的数量。为了满足这一需求，Hitachi Vantara开发了一种模型管理解决方案，以支持数据科学家和工程师不断演化的需求。

Pentaho提出了模型管理参考架构的概念，如下图所示：

由于以下原因，数据工程师选择PDI进行模型管理：

Pentaho模型管理架构包括：

相关组件包括：

请查看Pentaho在线帮助中的Pentaho 8.2 Python Executor Step，获取依赖项列表。

https://help.pentaho.com/Documentation/8.2/Products/Data_Integration/Transformation_Step_Reference/Python_Executor

基本操作步骤：

1

按照以下示例在PDI中构建模型管理工作流：

创建Model Catalog

（模型目录）

构建模型并将模型运行信息、评估指标、模型版本等存储到Model Catalog（模型目录）中。

设置Champion/Challenger

（冠军/挑战者）运行

对于每一次运行，竞争模型将与冠军模型竞争——后者是数据科学家在生产中使用的模型。

运行Champion/Challenger Models

（冠军/挑战者模型）

将使用Model Catalog（模型目录）中预设定的挑战者模型，并针对当前冠军运行。具有最佳评估指标的模型将被设置为冠军，以保留当前冠军或用更精确的挑战者模型替换它。 

2

在PDI中使用全新的8.2 Python Executor Step

3

模型实验是模型管理工作流的第一部分，它可以构建和培训模型，并将评估指标信息存储在模型目录中（下图显示了5个处理功能区域）。PDI提供了一个拖放式图形用户界面环境，以便添加漂移检测、数据偏差检测、Canary管道等。

该图示采用四个模型。其中一个模型通过标记的生产数据子集注入了在线模型超参数。所有这些都可以根据您的环境进行调整（即修改为包含标记数据或未标记数据和非生产数据，以满足您的具体需求）。

4

工作流的下一个阶段是Setup Champion/Challenger（设置冠军/挑战者）运行。将模型放入冠军文件夹，其余模型放入挑战者文件夹。这可以通过使用PDI Copy Files步骤完成，示例如下：

5

现在，利用三个性能最高的模型执行Champion/Challenger（冠军/挑战者）运行的一个子集。通过确定评估指标或其他数值，比较哪个模型的性能最好。运行Champion/Challenger（冠军/挑战者）的输出数据可以生成日志条目或发送电子邮件，以保存结果。

该图示显示了使用生产数据的模型，可对其进行修改，以合并标记数据或未带标记数据和非生产数据，以满足您的需求。PDI提供了一个拖放式图形用户界面环境，可以添加漂移检测、数据偏差检测、Canary管道等。

6

运行PDI作业以执行Model Management Workflow（模型管理工作流），它将把输出写入PDI日志，并显示Champion/Challenger（冠军/挑战者）结果（见下文）：

在缺乏专用数据准备工具的生产环境中操作模型已不再是一种备选项，而是必要条件。Pentaho 8.2完全可以当此重任。