简介:hadoop是一个由Apache基金会所开发的分布式系统基础架构。它可以使用户在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力进行高速运算和存储。hadoop的框架最核心的设计就是HDFS和MapReduce,HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。
图书知识聚合
在3本书中找到答案
  • 《Druid 实时大数据分析原理与实践》
    章节2.3.3 开源分布式计算平台
    Hadoop 是一个分布式系统基础架构,由 Apache 基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序,充分利用集群的威力高速运算和存储。Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System,HDFS)。除了文件存储,Hadoop 还有最完整的大数据生态,包括机器管理、NoSQL KeyValue 存储(如 HBase)、协调服务(Zookeeper 等)、SQL on Hadoop(Hive)等。其整体生态如图 2-10 所示。图 2-10 Hadoop 软件生态图Hadoop 基于可靠的分布式存储,通过 MapReduce 进行迭代计算,查询批量数据。Hadoop 是高吞吐的批处理系统,适合大型任务的运行,但在对任务响应时间和实时性有严格要求的需求方面 Hadoop 并不擅长。Druid 正好是 Hadoop 的一个有利补充,它提供了一套非常实时的方案,并可利用 HDFS 作为其深度存储(Deep Storage)数据文件的一种解决方案。另外,Druid 也全面拥抱 Hadoop 生态并能够对接很多 Hadoop 生态中的数据源。2.SparkSpark 是 UC Berkeley AMP lab 开源的类 Had
    欧阳辰
    电子工业出版社
  • 《大数据技术与应用基础项目教程》
    章节任务 3 Hadoop 部署与使用
    Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。① Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此,它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。② Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。③ Hadoop 是可伸缩的,能够处理 PB 级数据。④ Hadoop 是低成本的,它依赖于社区服务,任何人都可以使用。Hadoop 带有用 Java 语言编写的框架,因此,运行在 Linux 生产平台上是非常理想的。Hadoop 上的应用程序也可以使用其他语言编写,如 C++。(2)Hadoop 的构成Hadoop 由许多元素构成,如图 3-2 所示。其底部是 Hadoop Distribu
    李俊杰,谢志明
    人民邮电出版社有限公司
  • 《分布式实时处理系统:原理、架构与实现》
    章节1.4.1 Apache Hadoop
    Hadoop是由Apache基金会开发的分布式存储与计算框架。用户不需要了解底层的分布式计算原理就可以轻松开发出分布式计算程序,可以充分利用集群中闲置的计算资源,将集群的真正威力调动起来。Hadoop由两个重要模块组成。一个是Hadoop分布式文件系统(Hadoop Distributed File System),顾名思义,就是一个分布式的文件系统,可以将文件数据分布式地存储在集群中的不同节点上。另一个是MapReduce系统,是一个针对大量数据的分布式计算系统。而当前版本的Hadoop中加入了一个名为YARN的模块,这是一个用于任务调度和资源管理的框架,而目前MapReduce便是基于YARN开发的。1.Apache Hadoop的历史Hadoop的思路来自谷歌提出的MapReduce分布式计算框架。谷歌的MapReduce框架可以把一个应用程序分解为许多并行计算指令,跨跃
    卢誉声
    机械工业出版社
相关软件
热门培训课程
学Java课程,选达内就对了,18年培育100万IT人才!
达内Java培训+解决就业难题,不同类型学员分班教学,4个月学会,0学费入学,先就业后付费!
达内python培训课程,0基础也能学!
达内python培训课程,python+人工智能+数据分析,全领域教学,名师全程辅导!
linux培训入门+进阶+精通-达内免费学7天
达内linux培训,运营18年为20万家企业输送高端技术人才,为100万学员提供IT就业机会。
展开全部
hadoop的相关视频
一看就会
08:08
B站
大数据基础丨史上最全面的Hadoop入门教程
17:57
B站
【千锋大数据课程】hadoop视频教程
22:56
优酷
[科技]4.实施Hadoop集群
06:57
优酷
[教育]徐彤教程-Hadoop环境第0516讲:总结
如何学好Hadoop?关于Hadoop的学习建议
对于大数据学习者们,想要进入行业发展,学Hadoop是必须的,那么如何学好Hadoop?今天我们来给大家一些靠谱...
大数据时代Hadoop的本质,你有过认真了解吗?
除非你过去几年一直隐居,远离这个计算机的世界,否则你不可能没有听过Hadoop,全名Apache Hadoop,是一个在...
hadoop_精选文章
Hadoop到底是干什么用的?
阅读:16w+评论:11
Hadoop到底是干什么用的,主要的应用场景和应用领域是什么,主要解决的核心问题又是什么,在编写代码方面…
hadoop是什么?新手自学hadoop教程
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop是一个专为离线和大规模数据分析而设计的,...
五分钟零基础搞懂Hadoop
今天,我们先学习当前使用最广泛的大数据处理框架 Hadoop.Hadoop,你是怎么来的?今天的社会产生越来越多的...
零基础学习 Hadoop 该如何下手?
回答:79浏览:101万+赞同:3084
[最佳答案]推荐一些Hadoop家族系列文章,主要介绍Hadoop家族产品,常用的项目包括Hadoop,Hive,Pig,HBase,Sqoop,Mahout...
下一页 网络不给力?刷新试试