所有机器学习项目都适用的检查清单

作者:Harshit Tyagi

编译:ronghuaiyang

导读

构建端到端机器学习项目的任务检查清单。


Image for post 我正在创建一系列有价值的项目,我想到了将我从别人那里学到的或在工作中开发的实践记录下来。在本博客中,我整理了在处理端到端 ML 项目时经常提到的任务清单。

为什么我需要一个清单?

因为在一个项目中,你需要处理许多元素(争吵、准备、问题、模型、调优等等),所以很容易失去对事情的了解。

这个清单可以引导你完成接下来的步骤,并促使你检查每一个任务是否执行成功。

有时,我们很难找到起点,清单可以帮助你从正确的来源引出正确的信息(数据),以便建立关系并揭示相关的见解。

最好的做法是让项目的每个部分都经历检查。

正如 Atul Gawande 在他的书“The Checklist Manifesto”中所说,

我们所知道的东西的数量和复杂性已经超出了我们个人正确、安全或可靠地利用其优点的能力。



所以,让我带你过一遍这个简单的清单,它将减少你的工作量,提高你的产出……

机器学习项目检查清单

在几乎每个 ML 项目中,你都必须执行 8-10 个步骤。其中一些步骤可以顺序互换执行。

1. 从高层次上定义问题

这是为了理解和阐明问题的业务逻辑。它会告诉你:

  • 问题的性质(监督/非监督,分类/回归),
  • 你可以开发的解决方案类型
  • 你应该用什么标准来衡量表现?
  • 机器学习是解决这个问题的正确方法吗?
  • 手动解决问题的方法。
  • 问题的固有假设

2. 确认数据来源并获取数据

在大多数情况下,如果你有了数据,并且希望围绕数据定义问题以更好地使用传入的数据,那么可以在第一步之前执行此步骤。

根据问题的定义,需要确定数据源,可以是数据库、数据存储库、传感器等。对于要部署在生产环境中的应用,应该通过开发数据管道来实现这一步的自动化,以保持传入的数据流入系统。

  • 列出你需要的数据的来源和数量。
  • 检查存储空间是否会成为一个问题。
  • 检查你是否被授权为你的目的使用数据。
  • 获取数据,并将其转换为可行的格式。
  • 检查数据类型(文本、类别、数字、时间序列、图像)
  • 取出一份样品作最终测试之用。

3. 初始的数据探索

在这一步中,你需要研究影响你的结果/预测/目标的所有特征。如果你有一个巨大的数据块,在此步骤中对其进行采样,以使分析更易于管理。步骤:

  • 使用 jupyter notebooks,因为它们提供了一个简单和直观的界面,以研究数据。
  • 确定目标变量
  • 识别特征的类型(类别、数字、文本等)
  • 分析特征之间的相关性。
  • 添加一些数据可视化,方便解释每个特征对目标变量的影响。
  • 记录你的发现。

4. 进行数据探索分析来准备数据

现在可以通过定义用于数据转换、清洗、特征选择/特征工程和缩放的函数来执行前一步的发现了。

  • 编写函数转换数据和自动化处理即将到来的批数据。
  • 编写函数来清洗数据(输入缺失值和处理异常值)
  • 编写函数来选择特征和特征工程 —— 删除冗余的特征,特征格式转换,以及其他的数学变换。
  • 特征缩放 —— 特征标准化。

5. 开发一个基线模型,然后探索其他模型,选出最好的模型

创建一个非常基本的模型,作为所有其他复杂机器学习模型的基线。检查表的步骤:

  • 使用默认参数训练一些常用的 ML 模型,如朴素贝叶斯、线性回归、支持向量机等。
  • 度量和比较每个模型与基线以及其他模型的性能。
  • 对每个模型采用 N-fold 交叉验证,并计算 N fold 上的性能指标的平均值和标准偏差。
  • 研究对目标有最大影响的特征。
  • 分析模型在预测时出现的误差类型。
  • 以不同的方式设计特征。
  • 重复以上步骤几次(反复试验),以确保我们在正确的格式中使用了正确的特征。
  • 基于他们的度量表现选择最好的几个模型入围。

6. 调优你的入围模型并检查集成方法

这需要成为你接近最终解决方案的关键步骤之一。主要步骤应包括:

  • 使用交叉验证超参数调优。
  • 使用自动调优方法,如随机搜索或网格搜索,以找出你的最佳模型的最佳配置。
  • 测试集成方法,如投票分类器等
  • 用尽可能多的数据测试模型。
  • 一旦定稿,使用我们在开始时预留的没有见过的测试样本,检查是否过拟合或欠拟合。

7. 记录代码并交流解决方案

交流的过程是多方面的。你需要记住所有现有的和潜在的相关因素。因此,主要步骤包括:

  • 记录代码以及你的方法和整个项目过程。
  • 创建一个像 voila 一样的仪表盘或一个有洞察力的演示,接近自我解释的可视化。
  • 写一篇博客/报告,记录你是如何分析特征,测试不同的变换等等。
  • 获得你学到的东西(失败和有效的技术)
  • 总结主要成果及未来范围(如有)

8. 将模型部署到生产环境中,监控!

如果你的项目需要在实时数据上测试部署,那么你应该创建一个跨所有平台(web、Android、iOS)使用的 Web 应用或 REST API。主要步骤(视乎项目而定)包括:

  • 保存你的最终训练模型到一个 h5 或 pickle 文件。
  • 使用 Web 服务服务你的模型,你可以使用 Flask 来开发这些 Web 服务。
  • 连接输入数据源,设置 ETL 管道。
  • 使用 pipenv、docker/Kubernetes 管理依赖关系(基于扩展性需求)
  • 你可以使用 AWS、Azure 或谷歌云平台部署您的服务。
  • 监控实时数据的性能或简单地让人们用他们的数据来使用你的模型。

注意:检查表可以根据项目的复杂程度进行调整

英文原文:https://towardsdatascience.com/task-cheatsheet-for-almost-every-machine-learning-project-d0946861c6d0


本文地址:https://www.6aiq.com/article/1594496700169
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出