什么是数据管理

数据管理是指通过采集、整理和访问数据，提高企业的生产力、效率和决策能力。

数据对企业运营至关重要。现如今，全球各经济体高度互联，需要各种各样的系统和技术提供支持，由此产生了大量的数据。企业必须充分挖掘数据的价值，从杂乱的信息中获取重要洞察。这样一来，数据就成为了企业的重中之重。实际上，数据本身毫无价值。企业需要制定有效的数据战略、数据治理和数据管理模式，才能充分利用各种形式的数据，在供应链、员工网络、客户和合作伙伴生态体系等领域高效发挥这些数据的作用。

数据管理的定义和流程

数据管理是指通过采集、整理和访问数据，提高企业的生产力、效率和决策能力。随着数据在当今商业世界中扮演着越来越重要的角色，制定可靠的数据管理战略并部署现代化数据管理系统，对于任何规模、任何行业的企业都是一门必修课。数据管理流程包括大量任务和程序，例如：

采集、处理、验证和存储数据
整合来自不同数据源的各类数据，包括结构化和非结构化数据
确保数据的高可用性，建立有效的灾难恢复机制
管理员工及应用对数据的使用和访问方式
保障数据安全，确保数据隐私

为什么数据管理很重要？

企业使用的所有应用、分析解决方案和算法（支持计算机解决问题和完成任务的规则及相关流程）都离不开对数据的无缝访问。数据管理系统旨在帮助企业确保数据安全、可用和准确，但它的优势远不止于此。

将大数据转化为高价值的业务资产

如果管理不当，海量数据不仅会让企业不堪重负，还会变得一文不值。但是，借助合适的工具，企业就可以充分利用大数据，获得比以往更深入的洞察和更准确的预测结果。大数据可以帮助企业更好地了解客户需求，并基于数据提供的洞察交付卓越的客户体验。利用大数据，企业还可以实施由数据驱动的新业务模式，例如，提供基于实时物联网和传感器数据的服务产品。如果缺乏分析和解读大数据的能力，企业将很难发现这些业务模式。大数据是指极其庞大的数据集，通常具备五大特征（5 个 V）：数据量大 (Volume)、数据类型多样 (Variety)、数据生成速度快 (Velocity)、数据真实性高 (Veracity) 以及数据价值大 (Value)。众所周知，由数据驱动的企业拥有明显的竞争优势。借助高级工具，企业相较以往能够管理来自更多数据源的更多数据。此外，他们还可以实时利用各种结构化和非结构化数据，包括物联网设备数据、视频和音频文件、互联网点击流数据和社交媒体评论等，创造更多机会实现数据货币化和资产化。

为数字化转型奠定数据基础

人们常说，数据是数字化转型的命脉，事实确实如此。人工智能 (AI)、机器学习、工业 4.0、高级分析、物联网以及智能自动化都需要大量及时、准确和安全的数据才能充分发挥自身作用。新冠疫情爆发以来，数据以及由数据驱动的技术变得越来越重要。许多企业都意识到，他们迫切需要进一步挖掘数据价值，利用数据预测未来事件，快速实现转型，并增强业务计划和业务模式的韧性。举例来说，机器学习需要借助非常庞大且多样化的数据集进行“学习”，识别复杂模式和解决问题，并确保其模型和算法实时更新和有效运行。高级分析通常依赖机器学习技术，也需要基于大量优质数据，才能提供可转化为行动的重要洞察，支持企业自信地采取行动。另外，物联网和工业物联网的运行也离不开稳定的机器数据流和传感器数据流，这些数据流的速度可达到每分钟一百万英里。任何数字化转型项目都有一个共同的要素，那就是数据。企业要想革新流程、利用新技术和打造智慧企业，就必须先构建坚实的数据基础。简而言之，他们需要部署现代化的数据管理系统。

企业要想实现永续经营，就必须采用以数据为中心的敏捷架构，从容应对不断变化的市场环境。

确保遵守数据隐私法

要想确保遵守《通用数据保护条例》(GDPR) 和美国《加州消费者隐私法案》(California Consumer Privacy Act) 等国家和国际数据隐私法，以及行业特定的隐私和安全要求，实施良好的数据管理至关重要。另外，为了方便必要时对隐私保护措施进行验证或审计，企业还需要制定可靠的数据管理策略和程序。

数据管理系统和组件

数据管理系统基于数据管理平台而构建，涵盖一系列组件和流程，这些组件和流程协同工作，帮助企业从数据中获取价值。数据管理系统包括数据库管理系统、数据仓库和数据湖、数据集成工具、分析工具等。

数据库管理系统 (DBMS)

数据库管理系统分为多种不同的类型。最常见的是关系型数据库管理系统 (RDBMS)、面向对象数据库管理系统 (OODMBS)、内存数据库和列式数据库。

关系型数据库管理系统 (RDBMS)：RDBMS 是一种包含数据定义的数据库管理系统，支持各种程序和检索系统按名称引用数据项，而不是每次都需要描述数据的结构和位置。RDBMS 系统还可以基于关系模型维护数据项之间的关系，从而促进数据访问并避免数据重复。例如，数据项的基本定义和特征只需存储一次，并会链接到客户订单明细行和定价表。
面向对象数据库管理系统 (OODBMS)：OODBMS 是一种独特的数据定义和存储方法，由面向对象编程系统 (OOPS) 开发人员开发和使用。与 RDBMS 将数据存储在表格中不同，OODBMS 将数据存储为对象，是独立的自描述实体。
内存数据库：内存数据库 (IMDB) 是一种将数据存储在计算机主内存 (RAM) 而不是硬盘的数据库。从内存中检索数据要比从磁盘系统检索数据快得多，因此有快速响应要求的应用通常会使用内存数据库。例如，过去我们需要几天才能编制一份报告，现在只需几分钟甚至数秒便可完成数据访问和分析。
列式数据库：列式数据库是一种将相关数据组（信息列）集中存储，方便快速访问的数据库。列式数据库常用于现代内存业务应用，以及注重（有限数据范围内的）检索速度的独立数据仓库应用。

数据仓库和数据湖

数据仓库：数据仓库是一个集中的数据库，存储来自不同数据源的数据，供创建报告和执行分析。
数据湖：数据湖是一个庞大的数据池，按照数据的原始格式或自然格式存储数据。数据湖常用于存储大数据，包括结构化数据、非结构化数据和半结构化数据。

主数据管理 (MDM)

主数据管理是一门学科，旨在为所有重要的业务数据（如产品数据、客户数据、资产数据、财务数据等）创建统一、可靠的主数据参考，即统一的真实数据源。主数据管理有助于确保企业在流程、运营以及分析和报告等不同业务领域使用统一、一致的数据版本。有效的主数据管理包含三个重要方面：数据整合、数据治理和数据质量管理。

主数据管理是一门由技术驱动的学科，通过让业务和IT部门共同合作，确保企业正式共享的主数据资产的统一性、准确性、管理、治理、语义一致性和责任。

大数据管理

当今的企业正在被海量的结构化、非结构化和半结构化数据淹没。为了帮助企业有效管理这些大数据，各种新型数据库和工具应运而生。除了针对数据量大和生成速度快这两个特点的高效处理技术和云设施外，还诞生了许多解读和管理各种类型数据的新方法。例如，为了使数据管理工具能够理解和使用各种类型的非结构化数据，企业可以采用新的预处理流程来识别数据项并对其进行分类，方便存储和检索。

数据集成

数据集成是指随时随地根据需要摄取、转换、整合和准备数据。这种集成并不局限于企业内部，还可以发生在合作伙伴以及第三方数据源和第三方用例之间，旨在满足所有应用和业务流程的数据使用需求。数据集成技术包括批量数据移动、提取、转换、加载 (ETL)、变更数据捕获、数据复制、数据虚拟化、流数据集成和数据编排等。

数据治理、安全与合规管理

数据治理是一系列确保企业数据可用性、质量、合规性和安全性的规则与职责。数据治理的内容包括搭建数据基础架构，以及指定企业中有权限、有责任处理和保护各类数据的员工（或职位）。数据治理是合规管理的重要组成部分。系统负责数据的存储、处理和安全机制，而人作为治理方，负责确保数据始终准确无误，并在输入系统之前、被使用的过程中，以及从系统中提取出来以供别处使用或存储时，数据得到妥善处理和保护。数据治理规定了负责人如何使用流程和技术来管理和保护数据。现如今，黑客、病毒、网络攻击以及数据泄露事件频发，数据安全问题无疑备受关注。虽然系统和应用均内置了安全功能，但数据治理一方面可以确保正确设置和管理这些系统，从而保护数据安全，另一方面可以确保执行相关程序和职责，保护系统和数据库之外的数据。

商业智能和分析

可以说，大部分数据管理系统都包含基本的数据检索和报告工具，而且许多系统还整合或捆绑了强大的检索、分析和报告应用。另外，第三方开发人员构建的报告和分析应用通常也会纳入应用包中，作为标准功能或可选扩展组件模块提供更高级的功能。当今的数据管理系统之所以强大，很大程度上在于即席检索工具。用户只需接受少量培训即可使用即席检索工具，创建电子数据检索结果和打印报告，而且这些报告在格式设置、计算、分类和摘要方面都极为灵活。此外，专业人员可以使用这些工具或更复杂的分析工具，完成更多的计算、比较、高等数学和格式设置工作。新的分析应用能够跨越传统数据库、数据仓库和数据湖，将大数据与业务应用数据整合起来，从而提高企业的预测、分析和计划能力。

什么是企业数据战略？为什么要制定企业数据战略？

一直以来，很多企业只是被动地制定数据战略，完全采用业务应用供应商在其系统中嵌入的数据管理功能。但现在，这种做法远远不够。如今，随着数据量呈现爆炸式增长，再加上数据对企业运营的重要性日益凸显，企业越来越需要采取更加主动和全面的方法来管理数据。实际上，这意味着企业要做好充分准备，制定合适的数据战略来执行以下任务：

确定企业需要和使用的具体数据类型；
针对各种类型的数据划分职责；以及
制定相关程序，管理数据获取、采集和处理流程。

企业数据管理战略和基础架构的一大关键优势在于，能够凝聚整个企业的力量，协调所有活动和决策，支持企业实现向客户高效交付优质产品和服务的愿景。制定全面的数据战略并实现无缝的数据集成，有助于企业消除信息孤岛，支持每个部门、经理和员工查看和了解各自对企业成功的贡献，并确保他们的决策和行动与这些目标保持一致。

数据管理的发展历程

50 多年来，有效的数据管理一直对企业的成功至关重要，包括帮助企业提高信息报告准确性、发现趋势和制定明智决策，推动数字化转型，以及支持当今的新技术和业务模式等。数据已经成为一种新型资本，富有远见的企业一直都在寻找更好的新方法来让数据为他们所用。以下是现代数据管理领域值得关注的最新趋势，了解这些趋势对你的企业和所在行业的重要影响：

数据编织：如今，大多数企业都在本地和云端拥有各种类型的数据，并且使用多种数据库管理系统、处理技术和工具。数据编织是指架构与技术的自定义组合，旨在利用动态的数据集成和编排，支持用户在分布式环境中顺畅地访问和共享数据。
云端数据管理：许多企业正在将数据管理平台部分或全部迁移到云端。云数据管理充分发挥云的全部优势，包括可扩展性、先进的数据安全性、更高的数据可访问性、自动备份和灾难恢复、更低的成本等。云数据库和数据库即服务 (DBaaS) 解决方案、云数据仓库以及云数据湖都在日益普及。
增强数据管理：增强数据管理是一大新兴趋势。Gartner 曾表示，到 2022 年，增强数据管理将释放巨大的颠覆性潜力，通过利用人工智能和机器学习技术，让数据管理流程实现自配置和自调整。增强数据管理能够自动执行从数据质量和主数据管理到数据集成的所有工作，让高技能员工有更多时间专注于更高价值的任务。
增强分析：增强分析是 Gartner 发现的另一个重要技术趋势。目前，增强分析时代已经到来。利用人工智能、机器学习和自然语言处理 (NLP) 技术，增强分析不仅可以自动发现最重要的洞察，还能促进高级分析的普及，让所有人都能以自然对话的方式询问数据并获得答案，而不只是数据科学家。