Hadoop理论及实践-HDFS的Namenode及Datanode（参考Hadoop官网）

hdfs有什么特点，被设计做什么      

        hadoop分布式文件系统(hdfs)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。有一下几个特点：

        hdfs是一个高度容错性的系统，具有高容错、高可靠性、高扩展性的特点，适合部署在廉价的机器上。

        hdfs能提供对应用程序数据的高吞吐量访问，非常适合大规模数据集上的应用。hdfs上的一个典型文件大小一般都在g字节至t字节。因此，hdfs被调节以支持大文件存储。它应该能提供整体上高的数据传输带宽，能在一个集群里扩展到数百个节点。一个单一的hdfs实例应该能支撑数以千万计的文件。

datanode与namenode

二者之间的联系

        hdfs采用master/slave架构(主从结构)。一个hdfs集群是由一个namenode和一定数目的datanodes组成（当然，我们可以做ha）。

        namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。

        集群中的datanode一般是一个节点一个，负责管理它所在节点上的存储。hdfs暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块（一个block块大小为128m），这些块存储在一组datanode上。namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体datanode节点的映射。datanode负责处理文件系统客户端的读写请求。在namenode的统一调度下进行数据块的创建、删除和复制。

 集群中单一namenode的结构大大简化了系统的架构。namenode是所有hdfs元数据的仲裁者和管理者，这样，用户数据永远不会流过namenode。

nn与dn都干什么活

namenode执行的是文件系统的namspace操作，比如打开、不安比、重命名文件和目录，也决定这datanode中块的映射。
主要负责：
        处理客户端请求的响应；
        元数据的管理，包括文件的名称、副本系数、block存放的datanode的管理。

datanode负责处理文件系统客户端的读写请求。
datanode还根据来自namenode的指令执行block的创建，删除和副本的一些操作。
主要负责：
        存储用户的文件对应的数据块；
        定期向namenode发送心跳信息，汇报本身及其所有的block信息，健康状况。

文件系统的名字空间 (namespace)

        hdfs支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。当前，hdfs不支持用户磁盘配额和访问权限控制，也不支持硬链接和软链接。但是hdfs架构并不妨碍实现这些特性。

        namenode负责维护文件系统的名字空间，任何对文件系统名字空间或属性的修改都将被namenode记录下来。应用程序可以设置hdfs保存的文件的副本数目。文件副本的数目称为文件的副本系数，这个信息也是由namenode保存的。

数据复制

        hdfs被设计成能够在一个大集群中跨机器可靠地存储超大文件。它将每个文件存储成一系列的数据块，除了最后一个，所有的数据块都是同样大小的（整除效果，还有余数）。为了容错，文件的所有数据块都会有副本（一般副本数为3个，看需求）。每个文件的数据块大小和副本系数都是可配置的。应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。hdfs中的文件都是一次性写入的，并且严格要求在任何时候只能有一个写入者。

        namenode全权管理数据块的复制，它周期性地从集群中的每个datanode接收心跳信号和块状态报告(blockreport)。接收到心跳信号意味着该datanode节点工作正常。块状态报告包含了一个该datanode上所有数据块的列表。

副本存放: 最最开始的一步（机架感知策略）

        副本的存放是hdfs可靠性和性能的关键。优化的副本存放策略是hdfs区分于其他大部分分布式文件系统的重要特性。这种特性需要做大量的调优，并需要经验的积累。

机架感知策略（非常非常重要的且nb的词汇！）

        hdfs采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。

        大型hdfs实例一般运行在跨越多个机架的计算机组成的集群上，不同机架上的两台机器之间的通讯需要经过交换机。在大多数情况下，同一个机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大。

        通过一个机架感知的过程，namenode可以确定每个datanode所属的机架id -->  -->  -->

一个简单但没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失，并且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀分布在集群中，有利于当组件失效情况下的负载均衡。但是，因为这种策略的一个写操作需要传输数据块到多个机架，这增加了写的代价。

        在大多数情况下，副本系数是3，hdfs的存放策略是将一个副本存放在本地机架的节点上，一个副本放在同一机架的另一个节点上，最后一个副本放在不同机架的节点上。这种策略减少了机架间的数据传输，这就提高了写操作的效率。机架的错误远远比节点的错误少，所以这个策略不会影响到数据的可靠性和可用性。于此同时，因为数据块只放在两个（不是三个）不同的机架上，所以此策略减少了读取数据时需要的网络传输总带宽。在这种策略下，副本并不是均匀分布在不同的机架上。三分之一的副本在一个节点上，三分之二的副本在一个机架上，其他副本均匀分布在剩下的机架中，这一策略在不损害数据可靠性和读取性能的情况下改进了写的性能。（这个思路非常nb！）

（注：机架就是机房里头的安置服务器的架子）

副本选择

为了降低整体的带宽消耗和读取延时，hdfs会尽量让读取程序读取离它最近的副本。如果在读取程序的同一个机架上有一个副本，那么就读取该副本。如果一个hdfs集群跨越多个数据中心，那么客户端也将首先读本地数据中心的副本。

注：大数据中最常说的一句话就是：移动计算比移动数据更有利

安全模式（很重要的点）

namenode启动后会进入一个称为安全模式的特殊状态。处于安全模式的namenode是不会进行数据块的复制的。

安全模式怎么退出（important!）

        namenode从所有的 datanode接收心跳信号和块状态报告。块状态报告包括了某个datanode所有的数据块列表。每个数据块都有一个指定的最小副本数。

        当namenode检测确认某个数据块的副本数目达到这个最小值，那么该数据块就会被认为是副本安全(safely replicated)的；在一定百分比（这个参数可配置）的数据块被namenode检测确认是安全之后（加上一个额外的30秒等待时间），namenode将退出安全模式状态。

接下来它会确定还有哪些数据块的副本没有达到指定数目，并将这些数据块复制到其他datanode上。

文件系统元数据的持久化

editlog的事务日志（im）

        namenode上保存着hdfs的名字空间。对于任何对文件系统元数据产生修改的操作，namenode都会使用一种称为editlog的事务日志记录下来。例如，在hdfs中创建一个文件，namenode就会在editlog中插入一条记录来表示；同样地，修改文件的副本系数也将往editlog插入一条记录。namenode在本地操作系统的文件系统中存储这个editlog。

fsimage文件（im）

        整个文件系统的名字空间，包括数据块到文件的映射、文件的属性等，都存储在一个称为fsimage的文件中，这个文件也是放在namenode所在的本地文件系统上。

注：journalnode 同步两个namenode之前的元数据信息的，同步edit_log

检查点(checkpoint)及其过程

        namenode在内存中保存着整个文件系统的名字空间和文件数据块映射(blockmap)的映像。这个关键的元数据结构设计得很紧凑，因而一个有4g内存的namenode足够支撑大量的文件和目录。

        当namenode启动时，它从硬盘中读取editlog和fsimage，将所有editlog中的事务作用在内存中的fsimage上，并将这个新版本的fsimage从内存中保存到本地磁盘上，然后删除旧的editlog，因为这个旧的editlog的事务都已经作用在fsimage上了。这个过程称为一个检查点(checkpoint)。

        在当前实现中，检查点只发生在namenode启动时，在不久的将来将实现支持周期性的检查点。

块状态报告

        datanode将hdfs数据以文件的形式存储在本地的文件系统中，它并不知道有关hdfs文件的信息。它把每个hdfs数据块存储在本地文件系统的一个单独的文件中。datanode并不在同一个目录创建所有的文件，实际上，它用试探的方法来确定每个目录的最佳文件数目，并且在适当的时候创建子目录。在同一个目录中创建所有的本地文件并不是最优的选择，这是因为本地文件系统可能无法高效地在单个目录中支持大量的文件。

        当一个datanode启动时，它会扫描本地文件系统，产生一个这些本地文件对应的所有hdfs数据块的列表，然后作为报告发送到namenode，这个报告就是块状态报告。

通讯协议

        所有的hdfs通讯协议都是建立在tcp/ip协议之上。

        首先客户端通过一个可配置的tcp端口连接到namenode，再通过clientprotocol协议与namenode交互。

        而datanode使用datanodeprotocol协议与namenode交互。

一个远程过程调用(rpc)模型被抽象出来封装clientprotocol和datanodeprotocol协议。在设计上，namenode不会主动发起rpc，而是响应来自客户端或 datanode 的rpc请求。

健壮性

hdfs的主要目标就是即使在出错的情况下也要保证数据存储的可靠性。常见的三种出错情况是：namenode出错, datanode出错和网络割裂(network partitions，网断了)。

磁盘数据错误，心跳检测和重新复制

心跳有什么作用

        每个datanode节点周期性地向namenode发送心跳信号。网络波动可能导致一部分datanode跟namenode失去联系。

        namenode通过心跳信号的缺失来检测这一情况，并将这些近期不再发送心跳信号datanode标记为宕机，不会再将新的io请求发给它们。任何存储在宕机datanode上的数据将不再有效。datanode的宕机可能会引起一些数据块的副本系数低于指定值，namenode不断地检测这些需要复制的数据块，一旦发现就启动复制操作。

在下列情况下，可能需要重新复制：

        某个datanode节点失效，

        某个副本遭到损坏，

        datanode上的硬盘错误，

        或者文件的副本系数增大。

集群均衡

        hdfs的架构支持数据均衡策略。如果某个datanode节点上的空闲空间低于特定的临界点，按照均衡策略系统就会自动地将数据从这个datanode移动到其他空闲的datanode。当对某个文件的请求突然增加，那么也可能启动一个计划创建该文件新的副本，并且同时重新平衡集群中的其他数据。这些均衡策略目前还没有实现。

注：现阶段的版本已经实现了，我们通过控制balancer参数进行控制，基本上出现的情况是扩展了几台几点，如何做均衡这种情况

如何保证数据完整性（校验和的出现imimim）

        我们从某个datanode获取的数据块有可能是损坏的，损坏可能是由datanode的存储设备错误、网络错误或者软件bug造成的。

解决办法（校验和）

hdfs客户端软件实现了对hdfs文件内容的校验和(checksum)检查。具体步骤如下：

        一、当客户端创建一个新的hdfs文件，会计算这个文件每个数据块的校验和，并将校验和作为一个单独的隐藏文件保存在同一个hdfs名字空间下。

        二、当客户端获取文件内容后，它会检验从datanode获取的数据跟相应的校验和文件中的校验和是否匹配，如果不匹配，客户端可以选择从其他datanode获取该数据块的副本。

元数据磁盘错误

        fsimage和editlog是hdfs的核心数据结构。如果这些文件损坏了，整个hdfs实例都将失效。因而，namenode可以配置成支持维护多个fsimage和editlog的副本。任何对fsimage或者editlog的修改，都将同步到它们的副本上。这种多副本的同步操作可能会降低namenode每秒处理的名字空间事务数量。然而这个代价是可以接受的，因为即使hdfs的应用是数据密集的，它们也非元数据密集的。当namenode重启的时候，它会选取最近的完整的fsimage和editlog来使用。

        namenode是hdfs集群中的单点故障(single point of failure)所在。如果namenode机器故障，是需要手工干预的。目前，自动重启或在另一台机器上做namenode故障转移的功能已经实现了。

数据组织

数据块

        hdfs被设计成支持大文件，适用hdfs的是那些需要处理大规模的数据集的应用。

        这些应用都是只写入数据一次，但却读取一次或多次，并且读取速度应能满足流式读取的需要。hdfs支持文件的“一次写入多次读取”语义。

        一个典型的数据块大小是128m。因而，hdfs中的文件总是按照128m被切分成不同的块，每个块尽可能地存储于不同的datanode中。

staging（阶段）

        客户端创建文件的请求其实并没有立即发送给namenode，事实上，

        在刚开始阶段hdfs客户端会先将文件数据缓存到本地的一个临时文件。

        应用程序的写操作被透明地重定向到这个临时文件。

        当这个临时文件累积的数据量超过一个数据块的大小，客户端才会联系namenode。

        namenode将文件名插入文件系统的层次结构中，并且分配一个数据块给它。

        然后返回datanode的标识符和目标数据块给客户端。

        接着客户端将这块数据从本地临时文件上传到指定的datanode上。

        当文件关闭时，在临时文件中剩余的没有上传的数据也会传输到指定的datanode上。

        然后客户端告诉namenode文件已经关闭。

        此时namenode才将文件创建操作提交到日志里进行存储。

        如果namenode在文件关闭前宕机了，则该文件将丢失。

上述方法是对在hdfs上运行的目标应用进行认真考虑后得到的结果。这些应用需要进行文件的流式写入。如果不采用客户端缓存，由于网络速度和网络堵塞会对吞估量造成比较大的影响。这种方法并不是没有先例的，早期的文件系统，比如afs，就用客户端缓存来提高性能。为了达到更高的数据上传效率，已经放松了posix标准的要求。

流水线复制流程（副本）

当客户端向hdfs文件写入数据的时候，一开始是写到本地临时文件中。

假设该文件的副本系数设置为3，

        当本地临时文件累积到一个数据块的大小时，客户端会从namenode获取一个datanode列表用于存放副本。

        然后客户端开始向第一个datanode传输数据，第一个datanode一小部分一小部分(4 kb)地接收数据，将每一部分写入本地仓库，并同时传输该部分到列表中第二个datanode节点。

        第二个datanode也是这样，一小部分一小部分地接收数据，写入本地仓库，并同时传给第三个datanode。

        最后，第三个datanode接收数据并存储在本地。

        因此，datanode能流水线式地从前一个节点接收数据，并在同时转发给下一个节点，数据以流水线的方式从前一个datanode复制到下一个。

dfsshell

hdfs以文件和目录的形式组织用户数据。它提供了一个命令行的接口(dfsshell)让用户与hdfs中的数据进行交互。命令的语法和用户熟悉的其他shell(例如 bash, csh)工具类似。下面是一些动作/命令的示例：

dfsshell 可以用在那些通过脚本语言和文件系统进行交互的应用程序上。

注：如果配置了环境变量，就不必按照上面的命令了

dfsadmin

dfsadmin 命令用来管理hdfs集群。这些命令只有hdsf的管理员才能使用。下面是一些动作/命令的示例：

存储空间回收

hdfs文件的删除和恢复

        当用户或应用程序删除某个文件时，这个文件并没有立刻从hdfs中删除。实际上，hdfs会将这个文件重命名转移到/trash目录。只要文件还在/trash目录中，该文件就可以被迅速地恢复。文件在/trash中保存的时间是可配置的，当超过这个时间时，namenode就会将该文件从名字空间中删除。删除文件会使得该文件相关的数据块被释放。注意，从用户删除文件到hdfs空闲空间的增加之间会有一定时间的延迟。

只要被删除的文件还在/trash目录中，用户就可以恢复这个文件。如果用户想恢复被删除的文件，他/她可以浏览/trash目录找回该文件。/trash目录仅仅保存被删除文件的最后副本。/trash目录与其他的目录没有什么区别，除了一点：在该目录上hdfs会应用一个特殊策略来自动删除文件。目前的默认策略是删除/trash中保留时间超过6小时的文件。将来，这个策略可以通过一个被良好定义的接口配置。

减少副本系数

当一个文件的副本系数被减小后，namenode会选择过剩的副本删除。下次心跳检测时会将该信息传递给datanode。datanode遂即移除相应的数据块，集群中的空闲空间加大。同样，在调用setreplication api结束和集群中空闲空间增加间会有一定的延迟。

参考文档

hadoop – apache hadoop 2.7.7，hadoop官网

hadoop – apache hadoop 3.4.0-snapshot

hadoop分布式文件系统：架构和设计

通过对比老版本的hdfs文档，最新的hdfs文档有了很大的变化，这也是走向成熟的一步吧