欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:首页 > IT培训问题库 > Hadoop为什么如此受欢迎,其优势在哪里?

Hadoop为什么如此受欢迎,其优势在哪里?

时间:2017-12-06 18:35:01作者:[!--zuozhe--]

大数据技术的快速发展带动了一大批相关的技术发展,Hadoop近几年的发展程度火爆,吸引了很多小伙伴竞相学习,那么Hadoop为什么如此受欢迎,其优势在哪里?

1、支持超大文件

 一般来说,HDFS存储的文件可以支持TB和PB级别的数据。可扩展性强,如果集群现在的能力不能满足现有的需求,可以增加数据节点来实现集群的扩展,但需要具体情况具体对待。

2、检测和快速应对硬件故障

 在集群环境中,硬件故障是常见性问题。因为有上千台服务器连在一起,故障率高,因此故障检测和自动恢复hdfs文件系统的一个设计目标。假设某一个datanode节点挂掉之后,因为数据备份,还可以从其他节点里找到。namenode通过心跳机制来检测datanode是否还存在。比较高效,能够充分利用本地数据来提高性能。

3、流式数据访问

HDFS的数据处理规模比较大,应用一次需要大量的数据,同时这些应用一般都是批量处理,而不是用户交互式处理,应用程序能以流的形式访问数据库。主要的是数据的吞吐量,而不是访问速度。访问速度最终是要受制于网络和磁盘的速度,机器节点再多,也不能突破物理的局限,HDFS不适合于低延迟的数据访问,HDFS的是高吞吐量。

Hadoop为什么如此受欢迎,其优势在哪里?

 Hadoop为什么如此受欢迎

4、简化的一致性模型

 对于外部使用用户,不需要了解hadoop底层细节,比如文件的切块,文件的存储,节点的管理。并且经济性较强,Hadoop集群能够在普通、廉价的硬件设备上运行,节约开支。

 一个文件存储在HDFS上后,适合一次写入,多次写出的场景once-write-read-many。因为存储在HDFS上的文件都是超大文件,而当上传完这个文件到hadoop集群后,会进行文件切块,分发,复制等操作。

5、高容错性

 数据自动保存多个副本,副本丢失后自动恢复。可构建在廉价机上,实现线性(横向)扩展,当集群增加新节点之后,namenode也可以感知,将数据分发和备份到相应的节点上。

6、商用硬件

Hadoop并不需要运行在昂贵且高可靠的硬件上,它是设计运行在商用硬件的集群上的,因此至少对于庞大的集群来说,节点故障的几率还是非常高的。HDFS遇到上述故障时,被设计成能够继续运行且不让用户察觉到明显的中断。

 Hadoop技术的发展在企业里非常受欢迎,因此掌握Hadoop技术的人才发展前景相当光明,根本不愁找不到工作。有兴趣学习Hadoop的朋友可以关注魔据大数据。

相关推荐:

划重点:Hadoop大数据学习方案

0基础学习Hadoop大数据大概需要多长时间

参加Hadoop大数据培训班大概需要多长时间?


更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至kefu@mojuedu.com,我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询立即咨询

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234