加入收藏 | 设为首页 | 会员中心 | 我要投稿 牡丹江站长网 (https://www.0453zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 运营中心 > 建站资源 > 优化 > 正文

Hadoop之完全分布式集群

发布时间:2019-09-28 01:24:59 所属栏目:优化 来源:kocdaniel
导读:首先准备三台客户机(hadoop102,hadoop103,hadoop104),关闭防火墙,修改为静态ip和ip地址映射 配置集群 编写集群分发脚本 创建一个远程同步的脚本xsync,并放到当前用户下新建的bin目录下,配置到PATH中,使得此脚本在任何目录下都可以执行 脚本实现 [ko

1.配置slaves

  • 切换目录到:hadoop安装目录/etc/hadoop/
  • 在目录下的slaves文件中添加如下内容
  1. [kocdaniel@hadoop102 hadoop]$ vim slaves 
  2. # 注意结尾不能有空格,文件中不能有空行 
  3. hadoop102 
  4. hadoop103 
  5. hadoop104 
  • 同步所有节点的配置文件
  1. [kocdaniel@hadoop102 hadoop]$ xsync slaves 

2.启动集群

  • 同样,如果是第一次启动,需要格式化
  • 启动HDFS
  1. [kocdaniel@hadoop102 hadoop-2.7.2]$ sbin/start-dfs.sh 
  2.  
  3. # 查看启动结果,和集群规划(配置文件中)的一致 
  4. [atguigu@hadoop102 hadoop-2.7.2]$ jps 
  5. 4166 NameNode 
  6. 4482 Jps 
  7. 4263 DataNode 
  8.  
  9. [atguigu@hadoop103 hadoop-2.7.2]$ jps 
  10. 3218 DataNode 
  11. 3288 Jps 
  12.  
  13. [atguigu@hadoop104 hadoop-2.7.2]$ jps 
  14. 3221 DataNode 
  15. 3283 SecondaryNameNode 
  16. 3364 Jps 
  • 启动YARN
  1. # 注意:NameNode和ResourceManger如果不是同一台机器,不能在NameNode上启动 YARN,应该在ResouceManager所在的机器上启动YARN 
  2. [kocdaniel@hadoop103 hadoop-2.7.2]$ sbin/start-yarn.sh 

3.web端查看相关信息

(编辑:牡丹江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!