1:添加节点
A:新节点中添加账户,设置无密码登陆
B:Name节点中设置到新节点的无密码登陆
C:在Name节点slaves文件中添加新节点
D:在所有节点/etc/hosts文件中增加新节点(所有节点保持一致)
E:在新节点中执行
./bin/hadoop-daemon.sh start datanode
./bin/hadoop-daemon.sh start tasktracker
均衡个数据节点中的数据
./bin/start-balancer.sh
注意
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
./bin/start-balancer.sh -threshold 5
3)设置balance的带宽,默认只有1M/s
在使用start-balancer.sh时,
默认使用1M/S(1048576)的速度移动数据(so slowly...)
修改hdfs-site.xml配置,这里我们使用的是20m/S
<property>
<name>dfs.balance.bandwidthPerSec</name>
<value>20971520</value>
<description> Specifies the maximum bandwidth that each datanode can utilize for the balancing purpose in term of the number of bytes per second. </description>
</property>
删除节点
A:修改Name节点的hdfs-site.xml增加
<property>
<name>dfs.hosts.exclude</name>
<value>/soft/hadoop/conf/excludes</value>
</property>
B:修改Name节点的mapred-site.xml增加
<property>
<name>mapred.hosts.exclude</name>
<value>/soft/hadoop/conf/excludes</value>
<final>true</final>
</property>
C:新建excludes文件,文件里写要删除节点的hostname
D:Name节点执行
hadoop mradmin –refreshNodes
hadoop dfsadmin –refreshNodes<br>(task进程可以kill进程ID)
查看关闭进程
hadoop dfsadmin -report
当节点处于Decommissioned,表示关闭成功。
注意
1:如果刚删除的节点要再添加到集群要先删除excludes文件,执行 hadoop dfsadmin –refreshNodes
2:节点的状态可以通过http://NameNodes:50070查看
3:如果数据较大则关闭的时间可能会很长
相关推荐
Hadoop三节点集群安装 使用VMare 虚拟机创建三台CentOS7Linux机器
搭建高可用的Hadoop集群,基于NFS共享磁盘的namenode配置,使用zookeeper进行主节点推举
史上最全 多节点 hadoop 开发环境搭建详解
利用ansible 自动 安装Hadoop 集群
教程:在linux虚拟机下(centos),通过docker容器,部署hadoop集群。一个master节点和三个slave节点。
Centos7.0系统下配置Hadoop集群(以3节点为例)超详细过程
对于企业,如果要部署由成千上万的节点组成的Hadoop集群,手工方式部署显然不符合实际。 而由Hortonworks贡献给Apache开源社区的Ambari则提供了搭建整个Hadoop生态的一站式服务。这款软件具有集群自动化安装、中心化...
非常详细的hadoop集群搭建教程,包含SSH免密码登录,基本上按照教程上一步一步操作就能搭建成功,非常适合大数据初学者使用
该存储库包含Ansible Playbook和角色,以通过AWS EC2实例部署Hadoop多节点集群。 角色扮演- 角色名称 角色描述 awsInfra4Hadoop 为Hadoop MultiNode Cluster创建AWS基础架构 Hadoop名称节点 配置Hadoop名称节点 ...
hadoop集群配置三节点(超详细)
基于多元线性回归模型的Hadoop集群节点性能计算方法.pdf
多节点下Hadoop集群安装 参照上一篇:单节点下安装hadoop伪分布式集群 安装完后,讲解安装hadoop集群
图文并茂,step by step,详细说明Hadoop集群(zookeeper框架下)增加服役节点操作步骤。 1. 现有集群环境情况 2. 准备工作 2.1 修改主机名 2.2 配置ssh免密登录 2.3 jdk安装 2.4 hadoop安装 2.5 关闭待新增节点的...
由于工作需要,最近一段时间开始接触学习 Hadoop 相关的东西,目前公司的实时任务和离线任务都跑在一个 Hadoop 集群,离线 任务的特点就是每天定时跑,任务跑完了资源就空闲了,为了合理的利用资源,我们打算在搭一...
部署Hadoop3.0高性能集群,Hadoop完全分布式模式: Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同 节点担任不同的角色,在实际工作应用开发中,通常使用该...下面,阐述完全分布模式Hadoop集群的安装与配置方法。
用脚本自动杀出hadoop集群中的僵尸节点
Hadoop分布式集群搭建过程中IP配置,包括单机伪分布式和多台机器集群搭建。同时包括VBox linux虚拟机网卡配置
本次hadoop集群采用3台虚拟机协同完成,虚拟机采用CentOS6.7版本的镜像,hadoop的Cloudera的版本采用的5.13版本。更详细的需求配置以及虚拟机设置,网络配置,节点服务配置等信息请下载文档进行查看。