• 首页
        • 更多产品

          客户为中心的产品管理工具

          专业的软件研发项目管理工具

          简单易用的团队知识库管理

          可量化的研发效能度量工具

          测试用例维护与计划执行

          以团队为中心的协作沟通

          研发工作流自动化工具

          账号认证与安全管理工具

          Why PingCode
          为什么选择 PingCode ?

          6000+企业信赖之选,为研发团队降本增效

        • 行业解决方案
          先进制造(即将上线)
        • 解决方案1
        • 解决方案2
  • Jira替代方案
目录

hadoop数据存储系统的主要组成部分是什么

hadoop数据存储系统的主要组成部分是:1.Hadoop分布式文件系统(HDFS);2.MapReduce技术;3. YARN。其中,HDFS是一个专用文件系统,用于通过流访问模式,用普通、廉价硬件集群来存储大数据。

一、hadoop数据存储系统的主要组成部分

1.HDFS

HDFS是一个专用文件系统,用于通过流访问模式,用普通、廉价硬件集群来存储大数据。该系统便于将数据存储在集群中的多个节点上,从而保证了数据的安全性和容错性。Hadoop 将每个数据集的三个副本存储在三个不同的位置,确保 Hadoop 不会出现单点故障。

2.MapReduce

为了处理存储在 HDFS 中的数据,一个查询会被发出,用来处理 HDFS 中的数据集。Mapping出现在 Hadoop 检测数据的存储位置,并将查询分解为多个部分,以同时处理数据。这种方法称为并行执行(Parallel Execution)。将多个部分的结果连接起来,然后将整体的结果发回给用户,这称为Reduce过程。

3.YARN

Yet Another Resource Negotiator被用于管理集群的资源,同时也是 Hadoop 中协调应用程序运行时的作业调度框架。通过 YARN 管理 Hadoop 的资源,Hadoop可以更好地运行大数据。

延伸阅读:

二、Hadoop优点

它是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:

1.高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2.高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。

3.高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。

4.高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。

5.低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。

Hadoop带有用Java语言编写的框架,因此运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,比如 C++。

以上就是关于hadoop的内容希望对大家有帮助。

相关文章