一、阅读环境搭建

二、架构设计

HDFS 集群遵循主从架构。每个群集包括一个主节点和多个从节点。在内部,文件分为一个或多个块,每个块根据复制因子存储在不同的从节点计算机上。主节点存储和管理文件系统名称空间,即有关文件块的信息,例如块位置,权限等。从节点存储文件的数据块。主从各司其职,互相配合,共同对外提供分布式文件存储服务。当然内部细节对于用户来说是透明的。

三、通信服务

Hadoop 作为分布式存储系统,各个节点之间的通信和交互是必不可少的,需要实现一套节点间的通信交互机制。RPC(Remote Procedure CallProtocol,远程过程调用协议)允许本地程序像调用本地方法一样调用远程机器上应用程序提供的服务,所以 Hadoop 实现了一套自己的 RPC 框架。

正在持续施工中ing~~~

四、集群启动

4.1. DataNode

正在持续施工中ing~~~

  1. 架构设计

  2. 启动设计

4.2. NameNode

  1. 启动设计

五、集群管理

六、读写数据

  1. 读数据

    正在持续施工中ing~~~

  2. 写数据

    正在持续施工中ing~~~