目录

什么是数据清洗,如何验证数据是否“干净”

数据清洗是为机器学习(ML)和商业智能(BI)应用程序准备原始数据的一个必不可少的过程。数据清洗的关键步骤包括修改和删除不正确和不完整的数据字段、识别和删除重复信息和不相关数据,以及更正格式、缺失值和拼写错误。

一、什么是数据清洗?

数据清洗是为机器学习(ML)和商业智能(BI)应用程序准备原始数据的一个必不可少的过程。原始数据可能会包含许多错误,这可能会影响 ML 模型的准确性,并导致预测不正确和出现负面的业务影响。 

数据清洗的关键步骤包括修改和删除不正确和不完整的数据字段、识别和删除重复信息和不相关数据,以及更正格式、缺失值和拼写错误。

二、为什么数据清洗非常重要?

当一家公司使用数据来推动决策制定时,使用相关、完整和准确的数据至关重要。但是,数据集通常包含一些错误,必须在分析之前将它们删除。可能包括格式错误,例如错误的日期和货币,以及其他可能对预测产生重大影响的计量单位。异常值是一个特别值得关注的问题,因为它们总是会使结果发生偏差。其他常见的数据错误包括数据点损坏、信息缺失和印刷错误。干净的数据有助于生成高度准确的 ML 模型。 

干净、准确的数据对于训练 ML 模型尤其重要,因为使用糟糕的训练数据集可能会导致部署模型做出错误预测。这是数据科学家花费大量时间为 ML 准备数据的主要原因。

三、如何验证您的数据是否“干净”?

数据清洗过程包含几个必需的步骤,旨在识别和修复问题条目。名列前茅步是分析数据以识别错误。这可能涉及通过使用规则、模式和约束来识别无效值的定性分析工具。下一步是删除或更正错误。 

常见的数据清洗步骤包括修复:

  • 重复数据:删除重复信息
  • 不相关数据:确定特定分析的关键字段并从分析中删除不相关数据
  • 异常值:异常值会显著影响模型性能,因此请识别异常值并确定适当的操作
  • 缺失数据:标记并删除或估算缺失数据
  • 结构错误:纠正印刷错误和其他不一致,并使数据符合通用模式或约定