• 首页
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

        • 行业解决方案
          先进制造(即将上线)
        • 解决方案1
        • 解决方案2
  • Jira替代方案
目录

大数据计算体系的基本层次是什么

大数据计算体系的基本层次是:1. 物理数据层;2. 概念数据层;3. 逻辑数据层。其中,物理数据层是数据库最里面的一层,是物理存贮设备上实际存储的数据的集合。

一、大数据计算体系的基本层次

1. 物理数据层

物理数据层是数据库最里面的一层,是物理存贮设备上实际存储的数据的集合。这些数据是最原始数据,也是供用户加工的对象。物理数据层由内部模式描述的指令操作处理的位串、字符和字组合而成。

2. 概念数据层

概念数据层是数据库置于中间的一层,也是数据库的整体逻辑的部分。这层数据层指出了数据与数据之间的逻辑定义和联系,是存贮资料的整合点。此时要注意的是,这层数据层所涉及的是数据库所有对象的逻辑关系,而不是其物理情况。

3. 逻辑数据层

逻辑数据层是体验用户能够看到和使用的数据库,也是能够证明用户使用过的证明和踪迹。

总之,小数据,大集合就是按照某种数据集中起来并存放二级存储器中的一种方式。这种数据集合还有着一定的特点,比如尽量不出现重复的情况。

延伸阅读:

二、数据集市

数据集市(Data Mart)也叫数据市场,主要功能是将主题层和基础层的数据按各业务需求进行聚合,生成宽表和Cube,并直接推送给数据分析和业务部门使用,例如直接推送表数据至MySQL数据库。

数据集市是数据仓库的一部分,主要面向各业务部门使用,并且仅面向某个特定的主题。为了解决灵活性和性能之间的矛盾,数据集市可以被理解为一种小型的主题或业务级别的数据仓库。

数据集市会根据不同业务主题划分来满足业务信息需求,一个合格的数据集市应具备如下特点:

数据集市表是为了解决特定业务需求的,更具有面向主题性;

在更多情况下,数据集市支持离线数据,在一般情况下,业务经常使用的是T+1数据,即今天看昨天的数据;

数据来源于多个方面,比如业务订单数据、前端用户使用数据以及外部来源数据等;

查询时间尽量短,为分析和查询尽快响应。

数据集市中数据的结构一般是星型结构或者雪花结构,而星型结构通常由事实表和维度表构成。

以上就是关于大数据计算体系的基本层次的内容希望对大家有帮助。

一站式研发项目管理平台 PingCode

一站式研发项目管理平台 PingCode

支持敏捷\瀑布、知识库、迭代计划&跟踪、需求、缺陷、测试管理,同时满足非研发团队的流程规划、项目管理和在线办公需要。

相关文章