HDFS数据节点目录结构

发表于 | 分类于 | 阅读次数:
字数统计: 298 | 阅读时长 ≈ 1

HDFS数据节点目录结构

数据节点可以管理多个目录结构，可以通过 dfs.data.dir 配置指定

dfs.data.dir 包含四个目录和两个文件

四个目录

  1. Temp：用于记录正在写入的数据块，该写入过程是由于数据块复制产生，由一个数据节点写入另一个数据节点
  2. bloksBeingWriten：用于保证正在写入的数据块，与 temp 不同之处是该目录下是客户端发起的写
  3. Current：用于保存已经写入并提交的数据块，校验信息以及数据块扫描器用到的文件和 version 文件（包含 HDFS 运行时的版本信息）
  4. Detach：与系统升级相关的目录

数据块开始写入时位于 blocksBeingWriten 或者 Temp 目录下，当数据顺利写入提交后会迁移到 Current 目录

两个文件

  1. Storage：保存提示信息，系统版本相关
  2. In_use.lock：表明该目录目前已经被某个实例所占用，是一种锁机制，防止多个数据节点实例共享同一个目录，当停止数据节点时该文件会消失，既锁解除
-----------本文结束感谢您的阅读-----------
0%