HDFS 如何添加和撤销数据节点

在 HDFS 中提供了 dfs.hosts 文件(又称为 include文件)和 dfs.exclude 文件,对连接到 namenode 的数据节点进行管理。include 和 exclude 保存在 FSNameSystem 中的 hostReader 中

Include 文件: 对连接到 NN 的数据节点进行管理,指定了可以连接到 NN 的数据节点列表

Exclude 文件: 指明不能连接到 NN 的 数据节点列表

  1. 添加节点

    需要在 include 文件中添加相应的记录,并通过 dfsadmin 工具的 refreshnodes 命令,属性刷新 NN 节点信息,然后启动 DN,启动时会执行握手,注册,上报等行为

  2. 删除节点

    在 exclude 文件中添加将要撤销的节点,然后执行 refreshnodes 命令,NN 就会开始撤销 DN,被撤销节点的数据块将会被复制到集群的其他节点,这个过程中数据节点处于正在撤销状态,数据复制完成后才会才会转移到已撤消状态,并在 include 中删除相应的记录,就可以关闭先用的 DN

-----------本文结束感谢您的阅读-----------
0%