欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:首页 > IT培训问题库 > 大数据学习中Hadoop的学习内容

大数据学习中Hadoop的学习内容

时间:2017-10-09 18:46:12作者:魔据大数据学院

在大数据学习中,Hadoop的学习是重中之重,可以说,学习大数据就必学Hadoop。那么,在大数据学习中Hadoop的学习内容都有哪些呢?下面就由拥有多年专业大数据教学经验的魔据大数据教研组老师为你解答吧!

大数据学习中Hadoop的学习内容 
在魔据教育的大数据培训班中,Hadoop的学习所占学时最长,达到了91个学时之多,课程也被详细地分为多个部分:
一、大数据概述
这一阶段为入门阶段,主要讲解大数据历史;大数据出现的原因;大数据解决的问题;大数据目前的发展状态;大数据的未来以及我们生活中各行业的大数据应用。另外,学员还会在这一阶段对云计算的概念;选择hadoop的原因;hadoop在云计算中的作用;hadoop依赖的所有技术和之前课程的联系有一个系统的了解。
二、Hadoop集群的搭建
从这一阶段开始,教学开始进入正题,主要讲解介绍单机版和伪分布式安装,详细介绍每个方式的区别,解决什么问题以及详细的配置,并对每个配置文件做深入讲解。能够查看hadoop进程;理解hadoop启动的整个过程。
掌握hadoop集群的搭建、HA安装(ZK);介绍并带领学生使用hadoop的命令,操作hadoop集群文件的上传、下载、删除等操作;日志错误信息、常见的错误处理方式;zookeeper的介绍与安装。
三、HDFS基础概念及HDFS API案例
HDFS的学习是Hadoop学习的一个重要部分,主要讲解块的概念、块的好处、冗余备份、块的切分;元数据概念;NameNode工作原理; DataNode工作原理;Secondary NameNode;客户端含义;HDFS文件操作过程;元数据的持久化;什么是EditsLog和FSImage静像文件;EditsLog和FSImage合并--Checkpoint机制;HDFS命名空间;安全模式;心跳机制;机架感知等内容。
而HDFS API案例部分主要的讲解内容包括上传本地文件到HDFS;从HDFS下载文件到本地;创建HDFS文件;创建HDFS目录;重命名HDFS文件;删除HDFS文件;删除HDFS目录;查看某个文件是否存在;数据类型,writeable接口。
四、YARN资源调度框架介绍
YARN是Hadoop学习中的另一个重要组成部分,主要讲解客户端程序与ResourceManager交互;客户端存贮封装信息;ResourceManager调用NodeManager;NodeManager划分资源池;ResourceManager调用MapReduce程序;执行运算;hadoop伪分布式安装、HA安装,加入YARN的进程,反推理论;运行MR程序,观察YARN在程序运行中的处理过程;hadoop1.0到2.0的变化。
五、MapReduce介绍及案例
在这一阶段,我们主要会学习到MapReduce的产生背景;MapReduce的官方解释;MapReduce特点;MapReduc计算流程:inputsplit、mapper、combine、shuffle、sort、reducer;MapReduce容错性;MapReduce推测机制;MapReduce应用场合以及MR的整个流程的图解。
并会接触到经典的MR程序,包括:计数器、InputFormat输入格式、OutputFormat输出格式、单词计数程序Combiner优化、去重编程、平均程序、数据排序、全排序、倒排序、二次排序、单表关联、多表关联、join连接。排序算法,归并排序,底层源码分析,分区算法;讲解job提交作业的流程;通过WebUI查看log日志等。
 
以上便是魔据教育大数据学习中Hadoop的学习内容。我们的教学大纲半年更新一次,确保学员所学知识的先进性。学大数据,就来魔据,相信你的选择不会错!

更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至kefu@mojuedu.com,我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:400-690-5006,值班手机:18501996998(7*24小时)

在线咨询:李老师QQ(226594285),陈老师QQ(428683440)

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2017 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询立即咨询

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234