欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:首页 > 学习资料 > 讲师博文 > sparkR安装文档

sparkR安装文档

时间:2017-08-16 09:11:45作者:李明亚

 

sparkR安装文档
R是用于统计分析、绘图的语言和操作环境。R属于GNU系统的一个自由、免费、源代码开放的软件,它是一个广泛应用于统计计算和统计制图的优秀编程语言,但是其交互式使用通常局限于一台机器。为了能够使用R语言分析大规模分布式的数据,spark1.4开始推出sparkR,sparkR就是用R语言进行编程建模,计算分析依赖于Spark等大数据平台。它可以允许数据科学家分析大规模的数据集,并通过R shell交互式的在sparkR上运行作业。
具体安装整合操作如下:
安装环境准备:
CentOs6.5及以上版本
JDK    1.7/1.8
HDP    2.6(社区版)
R      3.3.3  
1.先安装spark,我们使用的是社区版HDP2.6,具体安装过程参考https://jinshuju.net/f/Ebi2Au,安装过程中注意勾选livy server(后面连接spark时会使用到)服务,界面如下:

2.安装R语言环境,执行以下命令安装
su root
yum -y install epel-release
yum -y update
yum -y install curl curl-devel
yum -y install libxml2 libxml2-devel openssl-devel.x86_64
yum -y install gcc glibc-headers gcc-c++ gcc-gfortran readline-devel
libXt-devel
yum install gnutls-devel.x86_64
yum -y install libcurl libcurl-devel
yum -y install R
ü 安装截图如下:

ü 安装完成,输入R命令进入shell操作界面,如下图:

ü 安装完成R语言,要在R语言中添加sparkR的包,在R脚本执行以下命令:
install.packages("sparklyr")
安装过程中会出现源选择,建议选择China(beijing)
ü 安装完成即可通过library(sparklyr)加载sparkR的包即可使用。
ü  

更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至kefu@mojuedu.com,我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询立即咨询

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234