欢迎来到魔据教育大数据学院,专注大数据工程师培养!
当前位置:首页 > 学习资料 > 讲师博文 > hadoop2.x常用端口及定义方法(方便以后查询)

hadoop2.x常用端口及定义方法(方便以后查询)

时间:2017-08-17 17:43:34作者:王鹏

 

Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。
这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:

组件
节点
默认端口
配置
用途说明
HDFS
DataNode
50010
dfs.datanode.address
datanode服务端口,用于数据传输
HDFS
DataNode
50075
dfs.datanode.http.address
http服务的端口
HDFS
DataNode
50475
dfs.datanode.https.address
https服务的端口
HDFS
DataNode
50020
dfs.datanode.ipc.address
ipc服务的端口
HDFS
NameNode
50070
dfs.namenode.http-address
http服务的端口
HDFS
NameNode
50470
dfs.namenode.https-address
https服务的端口
HDFS
NameNode
8020
fs.defaultFS
接收Client连接的RPC端口,用于获取文件系统metadata信息。
HDFS
journalnode
8485
dfs.journalnode.rpc-address
RPC服务
HDFS
journalnode
8480
dfs.journalnode.http-address
HTTP服务
HDFS
ZKFC
8019
dfs.ha.zkfc.port
ZooKeeper FailoverController,用于NN HA
YARN
ResourceManager
8032
yarn.resourcemanager.address
RM的applications manager(ASM)端口
YARN
ResourceManager
8030
yarn.resourcemanager.scheduler.address
scheduler组件的IPC端口
YARN
ResourceManager
8031
yarn.resourcemanager.resource-tracker.address
IPC
YARN
ResourceManager
8033
yarn.resourcemanager.admin.address
IPC
YARN
ResourceManager
8088
yarn.resourcemanager.webapp.address
http服务端口
YARN
NodeManager
8040
yarn.nodemanager.localizer.address
localizer IPC
YARN
NodeManager
8042
yarn.nodemanager.webapp.address
http服务端口
YARN
NodeManager
8041
yarn.nodemanager.address
NM中container manager的端口
YARN
JobHistory Server
10020
mapreduce.jobhistory.address
IPC
YARN
JobHistory Server
19888
mapreduce.jobhistory.webapp.address
http服务端口
HBase
Master
60000
hbase.master.port
IPC
HBase
Master
60010
hbase.master.info.port
http服务端口
HBase
RegionServer
60020
hbase.regionserver.port
IPC
HBase
RegionServer
60030
hbase.regionserver.info.port
http服务端口
HBase
HQuorumPeer
2181
hbase.zookeeper.property.clientPort
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
2888
hbase.zookeeper.peerport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
HBase
HQuorumPeer
3888
hbase.zookeeper.leaderport
HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。
Hive
Metastore
9083
/etc/default/hive-metastore中export PORT=<port>来更新默认端口
 
Hive
HiveServer
10000
/etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口
 
ZooKeeper
Server
2181
/etc/zookeeper/conf/zoo.cfg中clientPort=<port>
对客户端提供服务的端口
ZooKeeper
Server
2888
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
follower用来连接到leader,只在leader上监听该端口。
ZooKeeper
Server
3888
/etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分
用于leader选举的。只在electionAlg是1,2或3(默认)时需要。

 

更多大数据相关资讯敬请关注魔据教育,为您分享最及时的大数据资讯。
学习大数据敬请关注魔据教育微信二维码。
魔据教育微信二维码

【版权与免责声明】如发现内容存在版权问题,烦请提供相关信息发邮件至kefu@mojuedu.com,我们将及时沟通与处理。本站内容除非来源注明魔据教育,否则均为网友转载,涉及言论、版权与本站无关。

全国咨询热线:18501996998,值班手机:18501996998(7*24小时)

在线咨询:张老师QQ 320169340

企业合作服务专线:010-82340234-821, 院校合作洽谈专线:010-82340234

Copyright 2001-2019 魔据教育 - 北京华育兴业科技有限公司 版权所有,京ICP备17018991号-2

免费在线咨询立即咨询

免费索取技术资料立即索取

大数据技术交流QQ:226594285

电话咨询010-82340234