大数据计算体系的基本层次是:1. 物理数据层;2. 概念数据层;3. 逻辑数据层。其中,物理数据层是数据库最里面的一层,是物理存贮设备上实际存储的数据的集合。
一、大数据计算体系的基本层次
1. 物理数据层
物理数据层是数据库最里面的一层,是物理存贮设备上实际存储的数据的集合。这些数据是最原始数据,也是供用户加工的对象。物理数据层由内部模式描述的指令操作处理的位串、字符和字组合而成。
2. 概念数据层
概念数据层是数据库置于中间的一层,也是数据库的整体逻辑的部分。这层数据层指出了数据与数据之间的逻辑定义和联系,是存贮资料的整合点。此时要注意的是,这层数据层所涉及的是数据库所有对象的逻辑关系,而不是其物理情况。
3. 逻辑数据层
逻辑数据层是体验用户能够看到和使用的数据库,也是能够证明用户使用过的证明和踪迹。
总之,小数据,大集合就是按照某种数据集中起来并存放二级存储器中的一种方式。这种数据集合还有着一定的特点,比如尽量不出现重复的情况。
延伸阅读:
二、数据集市
数据集市(Data Mart)也叫数据市场,主要功能是将主题层和基础层的数据按各业务需求进行聚合,生成宽表和Cube,并直接推送给数据分析和业务部门使用,例如直接推送表数据至MySQL数据库。
数据集市是数据仓库的一部分,主要面向各业务部门使用,并且仅面向某个特定的主题。为了解决灵活性和性能之间的矛盾,数据集市可以被理解为一种小型的主题或业务级别的数据仓库。
数据集市会根据不同业务主题划分来满足业务信息需求,一个合格的数据集市应具备如下特点:
数据集市表是为了解决特定业务需求的,更具有面向主题性;
在更多情况下,数据集市支持离线数据,在一般情况下,业务经常使用的是T+1数据,即今天看昨天的数据;
数据来源于多个方面,比如业务订单数据、前端用户使用数据以及外部来源数据等;
查询时间尽量短,为分析和查询尽快响应。
数据集市中数据的结构一般是星型结构或者雪花结构,而星型结构通常由事实表和维度表构成。
以上就是关于大数据计算体系的基本层次的内容希望对大家有帮助。