前言

最近剛接觸Hadoop, 一直沒有弄明白NameNode和Secondary NameNode的區(qū)別和關(guān)系。很多人都認(rèn)為，Secondary NameNode是NameNode的備份，是為了防止NameNode的單點(diǎn)失敗的，直到讀了這篇文章Secondary Namenode - What it really do? (需翻墻)才發(fā)現(xiàn)并不是這樣。文章寫的很通俗易懂，現(xiàn)將其翻譯如下：

Secondary NameNode:它究竟有什么作用？

在Hadoop中，有一些命名不好的模塊，Secondary NameNode是其中之一。從它的名字上看，它給人的感覺就像是NameNode的備份。但它實(shí)際上卻不是。很多Hadoop的初學(xué)者都很疑惑，Secondary NameNode究竟是做什么的，而且它為什么會出現(xiàn)在HDFS中。因此，在這篇文章中，我想要解釋下Secondary NameNode在HDFS中所扮演的角色。

從它的名字來看，你可能認(rèn)為它跟NameNode有點(diǎn)關(guān)系。沒錯(cuò)，你猜對了。因此在我們深入了解Secondary NameNode之前，我們先來看看NameNode是做什么的。

NameNode

NameNode主要是用來保存HDFS的元數(shù)據(jù)信息，比如命名空間信息，塊信息等。當(dāng)它運(yùn)行的時(shí)候，這些信息是存在內(nèi)存中的。但是這些信息也可以持久化到磁盤上。

上面的這張圖片展示了NameNode怎么把元數(shù)據(jù)保存到磁盤上的。這里有兩個(gè)不同的文件：

fsimage - 它是在NameNode啟動時(shí)對整個(gè)文件系統(tǒng)的快照

edit logs - 它是在NameNode啟動后，對文件系統(tǒng)的改動序列

只有在NameNode重啟時(shí)，edit logs才會合并到fsimage文件中，從而得到一個(gè)文件系統(tǒng)的最新快照。但是在產(chǎn)品集群中NameNode是很少重啟的，這也意味著當(dāng)NameNode運(yùn)行了很長時(shí)間后，edit logs文件會變得很大。在這種情況下就會出現(xiàn)下面一些問題：

edit logs文件會變的很大，怎么去管理這個(gè)文件是一個(gè)挑戰(zhàn)。

NameNode的重啟會花費(fèi)很長時(shí)間，因?yàn)橛泻芏喔膭覽筆者注:在edit logs中]要合并到fsimage文件上。

如果NameNode掛掉了，那我們就丟失了很多改動因?yàn)榇藭r(shí)的fsimage文件非常舊。[筆者注: 筆者認(rèn)為在這個(gè)情況下丟失的改動不會很多, 因?yàn)閬G失的改動應(yīng)該是還在內(nèi)存中但是沒有寫到edit logs的這部分。]

因此為了克服這個(gè)問題，我們需要一個(gè)易于管理的機(jī)制來幫助我們減小edit logs文件的大小和得到一個(gè)最新的fsimage文件，這樣也會減小在NameNode上的壓力。這跟Windows的恢復(fù)點(diǎn)是非常像的，Windows的恢復(fù)點(diǎn)機(jī)制允許我們對OS進(jìn)行快照，這樣當(dāng)系統(tǒng)發(fā)生問題時(shí)，我們能夠回滾到最新的一次恢復(fù)點(diǎn)上。

現(xiàn)在我們明白了NameNode的功能和所面臨的挑戰(zhàn) - 保持文件系統(tǒng)最新的元數(shù)據(jù)。那么，這些跟Secondary NameNode又有什么關(guān)系呢？

Secondary NameNode

SecondaryNameNode就是來幫助解決上述問題的，它的職責(zé)是合并NameNode的edit logs到fsimage文件中。

上面的圖片展示了Secondary NameNode是怎么工作的。

首先，它定時(shí)到NameNode去獲取edit logs，并更新到fsimage上。[筆者注：Secondary NameNode自己的fsimage]

一旦它有了新的fsimage文件，它將其拷貝回NameNode中。

NameNode在下次重啟時(shí)會使用這個(gè)新的fsimage文件，從而減少重啟的時(shí)間。

Secondary NameNode的整個(gè)目的是在HDFS中提供一個(gè)檢查點(diǎn)。它只是NameNode的一個(gè)助手節(jié)點(diǎn)。這也是它在社區(qū)內(nèi)被認(rèn)為是檢查點(diǎn)節(jié)點(diǎn)的原因。

現(xiàn)在，我們明白了Secondary NameNode所做的不過是在文件系統(tǒng)中設(shè)置一個(gè)檢查點(diǎn)來幫助NameNode更好的工作。它不是要取代掉NameNode也不是NameNode的備份。所以從現(xiàn)在起，讓我們養(yǎng)成一個(gè)習(xí)慣，稱呼它為檢查點(diǎn)節(jié)點(diǎn)吧。

—————————————仔細(xì)閱讀下面最精彩————————————————

淺析 Secondary NameNode(輔助namenode)

在初學(xué)Hadoop時(shí)，有個(gè)讓人疑惑的概念：Secondary NameNode，也叫輔助namenode。從命名看，好像是第二個(gè)namenode，用于備份主namenode，在主namenode失敗后啟動。那么，Secondary NameNode的作用是什么？是如何工作的？

一，NameNode

HDFS集群有兩類節(jié)點(diǎn)以管理者和工作者的工作模式運(yùn)行，namenode就是其中的管理者。它管理著文件系統(tǒng)的命名空間，維護(hù)著文件系統(tǒng)樹及整棵樹的所有文件和目錄。這些信息以兩個(gè)文件的形式保存于內(nèi)存或者磁盤，這兩個(gè)文件是：命名空間鏡像文件fsimage和編輯日志文件edit logs ，同時(shí)namenode也記錄著每個(gè)文件中各個(gè)塊所在的數(shù)據(jù)節(jié)點(diǎn)信息。

namenode對元數(shù)據(jù)的操作過程

圖中有兩個(gè)文件：

（1）fsimage:文件系統(tǒng)映射文件，也是元數(shù)據(jù)的鏡像文件（磁盤中），存儲某段時(shí)間namenode內(nèi)存元數(shù)據(jù)信息。

（2）edits log:操作日志文件。

這種工作方式的特點(diǎn)：

（1）namenode始終在內(nèi)存中存儲元數(shù)據(jù)（metedata）,使得“讀操作”更加快、

（2）有“寫請求”時(shí)，向edits文件寫入日志，成功返回后才修改內(nèi)存，并向客戶端返回。

（3）fsimage文件為metedata的鏡像，不會隨時(shí)同步，與edits合并生成新的fsimage。

從以上特點(diǎn)可以知道，edits文件會在集群運(yùn)行的過程中不斷增多，占用更多的存儲空間，雖然有合并，但是只有在namenode重啟時(shí)才會進(jìn)行。并且在實(shí)際工作環(huán)境很少重啟namenode，

這就帶來了一下問題：

（1）edits文件不斷增大，如何存儲和管理？

（2）因?yàn)樾枰喜⒋罅康膃dits文件生成fsimage，導(dǎo)致namenode重啟時(shí)間過長。

（3）一旦namenode宕機(jī)，用于恢復(fù)的fsiamge數(shù)據(jù)很舊，會造成大量數(shù)據(jù)的丟失。

二，Secondary NameNode

上述問題的解決方案就是運(yùn)行輔助namenode–Secondary NameNode，為主namenode內(nèi)存中的文件系統(tǒng)元數(shù)據(jù)創(chuàng)建檢查點(diǎn)，Secondary NameNode所做的不過是在文件系統(tǒng)中設(shè)置一個(gè)檢查點(diǎn)來幫助NameNode更好的工作。它不是要取代掉NameNode也不是NameNode的備份，

SecondaryNameNode有兩個(gè)作用，一是鏡像備份，二是日志與鏡像的定期合并。兩個(gè)過程同時(shí)進(jìn)行，稱為checkpoint（檢查點(diǎn)）。

鏡像備份的作用：備份fsimage(fsimage是元數(shù)據(jù)發(fā)送檢查點(diǎn)時(shí)寫入文件)；

日志與鏡像的定期合并的作用：將Namenode中edits日志和fsimage合并,防止如果Namenode節(jié)點(diǎn)故障，namenode下次啟動的時(shí)候，會把fsimage加載到內(nèi)存中，應(yīng)用edits log,edits log往往很大，導(dǎo)致操作往往很耗時(shí)。（這也是namenode容錯(cuò)的一套機(jī)制）

Secondary NameNode創(chuàng)建檢查點(diǎn)過程

Secondarynamenode工作過程

（1）SecondaryNameNode通知NameNode準(zhǔn)備提交edits文件，此時(shí)主節(jié)點(diǎn)將新的寫操作數(shù)據(jù)記錄到一個(gè)新的文件edits.new中。

（2）SecondaryNameNode通過HTTP GET方式獲取NameNode的fsimage與edits文件（在SecondaryNameNode的current同級目錄下可見到 temp.check-point或者previous-checkpoint目錄，這些目錄中存儲著從namenode拷貝來的鏡像文件）。

（3）SecondaryNameNode開始合并獲取的上述兩個(gè)文件，產(chǎn)生一個(gè)新的fsimage文件fsimage.ckpt。

（4）SecondaryNameNode用HTTP POST方式發(fā)送fsimage.ckpt至NameNode。

（5）NameNode將fsimage.ckpt與edits.new文件分別重命名為fsimage與edits，然后更新fstime，整個(gè)checkpoint過程到此結(jié)束。

SecondaryNameNode備份由三個(gè)參數(shù)控制fs.checkpoint.period控制周期（以秒為單位，默認(rèn)3600秒），fs.checkpoint.size控制日志文件超過多少大小時(shí)合并（以字節(jié)為單位，默認(rèn)64M）， dfs.http.address表示http地址，這個(gè)參數(shù)在SecondaryNameNode為單獨(dú)節(jié)點(diǎn)時(shí)需要設(shè)置。

從工作過程可以看出，SecondaryNameNode的重要作用是定期通過編輯日志文件合并命名空間鏡像，以防止編輯日志文件過大。SecondaryNameNode一般要在另一臺機(jī)器上運(yùn)行，因?yàn)樗枰加么罅康腃PU時(shí)間與namenode相同容量的內(nèi)存才可以進(jìn)行合并操作。它會保存合并后的命名空間鏡像的副本，并在namenode發(fā)生故障時(shí)啟用。

--------------------- 

作者：小飛001 

來源：CSDN 

原文：https://blog.csdn.net/qq_43617838/article/details/85012688