什么是数据架构？概念、作用、优点、应用介绍

数据架构是什么有多重解读和方案，但是随着业界理论体系的不断完善，以及企业级数据治理工作的不断深入，目前的领先企业、数据治理组织的理论准备工作已经逐步收敛到四个方向，即：数据资产目录、数据标准、数据模型、数据分布。

一、数据架构的概念

1.什么是架构

了解数据架构之前首先需要了解到底什么是架构？

把一个整体（完成人类生存的所有工作）切分成不同的部分（分工），由不同角色来完成这些分工，并通过建立不同部分相互沟通的机制，使得这些部分能够有机的结合为一个整体，并完成这个整体所需要的所有活动，这就是架构。

举例理解：最开始人类是住在山洞里，住在树上的，主要是为了躲避其他猛兽的攻击，以及减少自然环境的变化。为了完成这些目标，人类开始学会在平地上用树木和树叶来建立隔离空间的设施，这就是建筑的开始。但是完全隔离也有很多坏处，慢慢就产生了门窗等设施。建筑的本质就是从自然环境中，划出一块独占的空间，但是仍然能够通过门窗等和自然环境保持沟通。这个时候架构就已经开始了。

人们对建筑的需求慢慢的越来越多，空间的切分也会变成很多种，组合的方式也会有很多种，比如每个人住的房子，需要区分厨房、洗手间、书房、卧室等等，这个时候人们就开始有意识的去设计房子，架构师就慢慢的出现了。一切都是为了满足人的越来越高的需求，提升质量，减少时间，更有效率的切分空间，并且让空间之间更加有机的进行沟通。这就是建筑的架构以及建筑的架构的演变。

2.什么是数据架构

TOGAF由国际标准权威组织The Open Group制定。The Open Group于1993年开始应客户要求制定系统架构的标准。TOGAF是一个架构框架，它是事实上的全球标准，可用来规划、开发、实现、治理和维护一个架构。

国际数据管理协会（Data Management Association ,又名DAMA International,以下简称“DAMA”）是一个全球性数据管理和业务专业志愿人士组成的非营利协会，致力于数据管理的研究和实践。DAMA国际自1980年成立以来，一直致力于数据管理的理论研究、实践、教训及相关知识体系的建设，在数据管理领域累积了极为深厚的知识沉淀和丰富经验。

数据架构是什么有多重解读和方案，但是随着业界理论体系的不断完善，以及企业级数据治理工作的不断深入，目前的领先企业、数据治理组织的理论准备工作已经逐步收敛到四个方向，即：数据资产目录、数据标准、数据模型、数据分布。以上，可以称为数据架构体系的“四个基本内容”，具体而言应该包括：梳理企业的数据资产、制定数据标准并持续维护、建立数据模型，包括概念模型、逻辑模型和物理模型、管控数据分布，包括数据源头和流向。

3.数据架构的作用

数据架构可通过智能自动化系统促进多种数据管道和云环境的端到端集成。在过去的十年间，混合云、人工智能、物联网 (IoT) 和边缘计算造成大数据呈指数级增长，提高了企业数据管理的复杂程度。这种增长带来了严峻的挑战，例如数据孤岛、安全风险以及普遍存在的决策瓶颈，使统一和治理数据环境成为日益重要的优先事项。数据管理团队通过数据架构解决方案直面这些挑战。他们利用解决方案统一不同的数据系统、嵌入治理、加强安全和隐私措施，并为员工，尤其是业务用户，提供更多的数据可访问性。

这些数据集成工作在数据架构的帮助下，支持更加全面、以数据为中心的决策。企业在不同发展阶段可能有与特定业务线一致的不同数据平台。例如，您可能有一个 HR 数据平台、一个供应链数据平台和一个客户数据平台，尽管三者之间可能存在重叠，但它们仍可在不同的独立环境中存储数据。然而，数据架构可使决策者更集中地查看这些数据，帮助他们更好地了解客户生命周期，从而建立之前没有的数据联系。通过缩小对客户、产品和流程的了解差距，数据架构加速整个企业的数字化转型和自动化计划的实施。

二、数据架构与数据虚拟化之间的联系

数据虚拟化是支持数据架构方法的技术之一。数据虚拟化工具不是使用标准 ETL（抽取、转换、加载）过程从各种本地和云数据源物理地移动数据，而是连接到不同的数据源，仅集成所需的元数据并创建虚拟数据层。这使用户能够实时利用源数据。

三、数据架构的原理

数据架构利用数据服务和 API，将来自原有系统、数据湖、数据仓库、sql 数据库和应用程序的数据汇集在一起，提供对业务绩效的整体视图。与这些单独的数据存储系统相比，数据架构旨在为整个数据环境带来更大的流动性，应对数据存放和处理位置问题 – 数据量增长会提高迁移的难度。数据架构消除数据迁移、转换和集成中技术复杂性的抽象意义，让整个企业都可以使用数据。

数据结构架构围绕平台中的数据与需要它的应用程序松散耦合的想法进行操作。一个多云环境中的数据架构示例是，一种云（如 AWS）管理数据采集，另一个平台（如 Azure）负责监督数据转换和使用。然后可能有第三个供应商（如 IBM Cloud Pak for Data）来提供分析服务。数据架构将这些环境连接在一起，可以创建统一的数据视图。

以上只是一个示例。由于不同企业有不同需求，因此没有唯一的数据架构。不同企业有不同数量的云提供商，实施的数据基础架构也不尽相同。但使用这种数据框架的企业，其架构具有共性，这是数据架构独有的特点。 Forrester（链接位于 ibm.com 外部）在”企业数据架构支持 DataOps”报告中描述了数据架构的六个基本组件。这六层包括以下内容：

数据管理层：该层负责数据监管和数据安全。
数据采集层：开始汇总云数据，寻找结构化和非结构化数据之间的联系。
数据处理层：细化数据，以确保提取数据时只出现相关数据。
数据编排层：为数据架构执行一些最重要的工作 – 转换、集成和清理数据，供企业内部团队使用。
数据发现层：为集成不同数据源的数据提供新机会。例如，它可能找到在供应链数据市场和客户关系管理数据系统中连接数据的方法，为客户提供产品提供新的机会或提高客户满意度的方法。
数据访问层：允许使用数据，确保一些团队拥有正确的权限，以遵守政府法规要求。此外，这一层还使用仪表板和其他数据可视化工具帮助发现相关数据。

四、数据架构的优势

随着数据架构提供商逐渐获得更高的市场采用率，Gartner 具体注意到数据架构对效率的积极作用，称它可以将”集成设计时间减少 30%，部署时间减少 30%，维护时间减少 70%。” 数据架构可以明显提高整体生产率，以下优势也可向采用者证明其商业价值：

智能集成：数据架构利用语义知识图谱、元数据管理和机器学习，统一不同数据类型和终端的数据。这可以帮助数据管理团队汇集相关数据集，以及将全新的数据源集成到企业的数据生态系统中。此功能可完全实现数据工作负载管理自动化，从而提升效率，还有助于消除数据系统中的数据孤岛，集中数据治理实践，以及提高整体数据质量。

数据民主化：数据架构可促进自助式应用，将数据访问范围扩大至更多的技术资源，例如数据工程师、开发人员和数据分析团队。数据瓶颈的减少会提高生产率，使业务用户快速做出业务决策，并让技术用户优先执行可以更好地利用其技能集的任务。

更好的数据保护：扩大数据访问的范围并不意味着在数据安全和隐私措施上妥协。实际上意味着围绕访问控制设置更多的数据治理护栏，以确保特定数据仅供特定角色使用。数据架构还允许技术和安全团队围绕敏感和专有数据实施数据屏蔽与加密，进而减少数据共享和系统泄露数据的风险。