欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:首页 > IT培训问题库 > 大数据spark要怎么样学习

大数据spark要怎么样学习

时间:2017-09-18 18:19:57作者:[!--zuozhe--]

有很多朋友开始接触 Spark会觉得有一定难度,不知道spark要怎么样学习,下面魔据小编给大家介绍一下。

1、首先,搭环境一定是必须的啦,开始搭环境时,前前后后折腾一个星期也是正常的,因为linux不懂,还有各种奇怪的命令。相信弄linux命令的时候心中一万只草泥马奔腾而过,权限的各种奇奇怪怪的问题,跟着网上的教程来做还会出错更是伤心。但是经历这个初始的环境折腾之后,你最基础的linux命令至少会了,环境搭建过程中的各种配置文件问题,经历你的各种搜索之后,你也可以大概知道各种配置文件的作用,这有助于你后面程序出错的时候查找错误。

 

spark要怎么样学习

 

2、环境搭建好之后,因为项目的关系,你开始要编程了,但是Spark啥也不懂怎么办啊。

没关系,先搭好开发环境。搭好后得看你的项目需求了。根据你的项目需求来思考学习方向。

3、比如一个项目需求是,从mongoDB读取数据,进行简单的计算之后丢回mongoDB里去。

a.先搜索Spark如何连接mongoDB,需要学会科学上网,这种比较新的东西,靠百度是没啥用的,该飞越的时候还是要飞越的,mongo-hadoop-core。

b.连接好了之后,不懂 Scala怎么办,这个根本不是问题,首先,Spark基本是RDD之间的转化操作,就map,split等几个东西而已,剩下的只要大概懂最基本的语法就可以了(默认题主懂C语言),我们暂时不需要scala高级功能。

强烈建议找一个实际项目做!

实在没办法,自己想一个需求,比如写个程序,随便找个地抓取一堆数据,然后用Spark来分析数据。知乎有很多如何抓取数据的好问题和好回答,可以自行搜索。

最后,最重要的一点是,Spark是一个让人又恨又爱的东西,为什么呢?因为自学你会遇到更种坑问题,来魔据大数据帮你解决这些问题,助你顺利高薪就业。


更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至kefu@mojuedu.com,我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询立即咨询

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234