目录

什么是数据准备

数据准备是准备原始数据以使其适合进一步处理和分析的过程。该过程的主要步骤包括收集、清洗原始数据并将其标注为适合机器学习(ML)算法的形式,然后探索和可视化数据。

一、什么是数据准备?

数据准备是准备原始数据以使其适合进一步处理和分析的过程。该过程的主要步骤包括收集、清洗原始数据并将其标注为适合机器学习(ML)算法的形式,然后探索和可视化数据。数据准备过程可能会占用 ML 项目所花费时间的 80%。使用专门的数据准备工具有助于优化此过程。

二、ML 和数据准备有什么联系?

数据以前所未有的方式在组织中流动,从智能手机到智慧城市,数据以结构化数据和非结构化数据(图片、文档、地理空间数据等)的形式呈现。如今,非结构化数据占数据总量的 80%。ML 不仅可以分析结构化数据,还可以发现非结构化数据中的模式。ML 是计算机学习解释数据并基于该数据做出决策和给出建议的过程。在学习过程中,以及后来用于预测时,不正确、有偏见或不完整的数据会导致不准确的预测。

三、为什么数据准备对 ML 很重要?

数据为 ML 提供动力。利用这些数据重塑您的业务虽然具有挑战性,但对于现在和未来都有重要意义。这是最见多识广者的生存之道,那些能够利用数据做出更好、更明智决策的人能够更快地应对意外并发现新机遇。这个重要而繁琐的过程是建立准确的 ML 模型和分析的先决条件,也是 ML 项目中最耗时的部分。为了最大限度地减少这种时间投入,数据科学家可以使用各种工具,以各种方式帮助自动进行数据准备。

四、如何准备数据?

数据准备遵循一系列步骤,从收集正确的数据开始,接着是清洗、标注,然后是验证和可视化。

1、收集数据

收集数据是收集 ML 所需的所有数据的过程。数据收集可能很繁琐,因为数据驻留在许多数据来源中,包括笔记本电脑、数据仓库、云中、应用程序内部和设备上。寻找连接到不同数据来源的方法可能很有挑战性。数据量也呈指数级增长,因此需要搜索大量数据。此外,根据数据来源的不同,数据的格式和类型也有很大不同。例如,视频数据和表格数据不容易一起使用。

2、清洗数据

作为确保数据质量的一个步骤,清洗数据可以纠正错误并填充缺失的数据。有了干净的数据后,您需要将它转换成一致、可读的格式。这个过程可能包括更改日期和货币等字段格式、修改命名约定以及更正值和度量单位,使它们保持一致。

3、标注数据

数据标注过程用于识别原始数据(图片、文本文件、视频等)并添加一个或多个有意义的信息标签以提供上下文,从而使 ML 模型能够从它进行学习。例如,标签可指示照片是否包含鸟或汽车、录音中有哪些词发音,或者 X 影像是否发现了异常。各种使用案例都需要用到数据标注,包括计算机视觉、自然语言处理和语音识别。

4、验证和可视化

清洗和标注数据之后,ML 团队通常需要探索数据以确保数据正确并为 ML 做好准备。直方图、散点图、箱线图、折线图和条形图都是确认数据是否正确的有用工具。此外,可视化还有助于数据科学团队完成探索性数据分析。这个过程使用可视化来发现模式、识别异常、测试假说或检查假设。探索性数据分析不需要正式建模;相反,数据科学团队可以使用可视化来解读数据。