博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
HDFS Namenode启动过程
阅读量:6303 次
发布时间:2019-06-22

本文共 1804 字,大约阅读时间需要 6 分钟。

Namenode保存文件系统元数据镜像,namenode在内存及磁盘(fsimage和editslog)上分别存在一份元数据镜像文件,内存中元数据镜像保证了hdfs文件系统文件访问效率,磁盘上的元数据镜像保证了hdfs文件系统的安全性。

namenode在磁盘上的两类文件组成:

fsimage文件:保存文件系统至上次checkpoint为止目录和文件元数据。

edits文件:保存文件系统从上次checkpoint起对hdfs的所有操作记录日志信息。

fsimage和editlog文件可以在本地文件系统看到,如下图:

首次安装格式化(format)主要作用是在本地文件系统生成fsimage文件。

1、首此启动hdfs过程:

启动namenode:

读取fsimage生成内存中元数据镜像。

启动datanode:

向namenode注册;

向namenode发送blockreport。

启动成功后,client可以对HDFS进行目录创建、文件上传、下载、查看、重命名等操作,更改namespace的操作将被记录在edits文件中。

2、之后启动HDFS文件系统过程:

启动namenode:

读取fsimage元数据镜像文件,加载到内存中。

读取editlog日志文件,加载到内存中,使当前内存中元数据信息与上次关闭系统时保持一致。然后在磁盘上生成一份同内存中元数据镜像相同的fsimage文件,同时生成一个新的null的editlog文件用于记录以后的hdfs文件系统的更改。

启动datanode:

向namenode注册;

向namenode发送blockreport。

启动成功后,client可以对HDFS进行目录创建、文件上传、下载、查看、重命名等操作,更改namespace的操作将被记录在editlog文件中。

3、SecondaryNameNode

辅助namenode,不能代替namenode。

SecondaryNameNode的主要作用是用于合并fsimage和editlog文件。在没有SecondaryNameNode守护进程的情况下,从namenode启动开始至namenode关闭期间所有的HDFS更改操作都将记录到editlog文件,这样会造成巨大的editlog文件,所带来的直接危害就是下次启动namenode过程会非常漫长。

在启动SecondaryNameNode守护进程后,每当满足一定的触发条件(每3600s、文件数量增加100w等),SecondaryNameNode都会拷贝namenode的fsimage和editlog文件到自己的目录下,首先将fsimage加载到内存中,然后加载editlog文件到内存中合并fsimage和editlog文件为一个新的fsimage文件,然后将新的fsimage文件拷贝回namenode目录下。并且声称新的editlog文件用于记录DFS的更改。

4、安全模式

在启动namenode至所有datanode启动完成前的阶段成为安全模式。在安全模式下,client只能读取部分HDFS文件信息,不允许client对HDFS的任何更改操作,比如创建目录、上传文件、删除文件、重命名文件等。

namenode推出安全模式条件需要满足以下条件:

datanodes blocks/total blocks >= 99.999% + 30s(缓冲时间) 此时安全模式才会推出

Secondary namenode工作流程:

1)secondary通知namenode切换edits文件

2)secondary通过http请求从namenode获得fsimage和edits文件

3)secondary将fsimage载入内存,然后开始合并edits

4)secondary将新的fsimage发回给namenode

5)namenode用新的fsimage替换旧的fsimage

Secondary namenode工作流程通过一张图可以表示为:

手工维护安全模式指令:

bin/hdfs dfsadmin -safemode <enter | leave | get | wait>

例如:

[hadoop@db01 ~]$ hdfs dfsadmin -safemode get

Safe mode is OFF

转载地址:http://fufxa.baihongyu.com/

你可能感兴趣的文章
提高网站访问速度的34条军规
查看>>
scp使用
查看>>
linux 系统 chmod 误操作权限异常修复方式
查看>>
项目启动会发言稿(范文四)
查看>>
我的友情链接
查看>>
2012-2013中国IT技术应用趋势调查报告
查看>>
Blobxfer
查看>>
如何在 Outlook 2010 中設定特定寄件者郵件顯示的字型與顏色
查看>>
linux NFS 安装与配置
查看>>
Linux中{n..m}的用法
查看>>
postfix邮件系统搭建手册(openldap)
查看>>
运维工程师的职责和前景
查看>>
JVM性能调优监控工具jps、jstack、jstat、jmap、jinfo使用详解
查看>>
Java采用Jacob调用SAPI实现合成语音
查看>>
模板匹配 cvMatchTemplate
查看>>
80后IT民工谈编程学习|开发技巧
查看>>
C++ map和unordered_map自定义key
查看>>
TCP协议之<你好——再见>
查看>>
如何在 Bash 中删除“除某些文件外的所有文件”?
查看>>
IIS 7.0配置PHP环境
查看>>