寫在前面的話

這裡是跟我一起讀Hadoop原始碼系列的第一篇，主要記錄作者在讀Hadoop原始碼的過程

軟體版本

-Hadoop2.6.0

讀前知識

-瞭解RPC程式設計
-瞭解Java基礎

從NameNode開始

在Hadoop的所有文章中都講述了Namenode的作用，所以這裡就不做過多的說明，直接
來讀它的原始碼。
在讀一個類時從哪裡下手比較好呢，當然是註釋。在大多開源軟體的主要程式碼中都會
給出比較詳細的註釋我們就從這裡入手。

/**********************************************************
 * NameNode serves as both directory namespace manager and
 * "inode table" for the Hadoop DFS.  There is a single NameNode
 * running in any DFS deployment.  (Well, except when there
 * is a second backup/failover NameNode, or when using federated NameNodes.)
 *
 * The NameNode controls two critical tables:
 *   1)  filename->blocksequence (namespace)
 *   2)  block->machinelist ("inodes")
 *
 * The first table is stored on disk and is very precious.
 * The second table is rebuilt every time the NameNode comes up.
 *
 * 'NameNode' refers to both this class as well as the 'NameNode server'.
 * The 'FSNamesystem' class actually performs most of the filesystem
 * management.  The majority of the 'NameNode' class itself is concerned
 * with exposing the IPC interface and the HTTP server to the outside world,
 * plus some configuration management.
 *
 * NameNode implements the
 * {@link org.apache.hadoop.hdfs.protocol.ClientProtocol} interface, which
 * allows clients to ask for DFS services.
 * {@link org.apache.hadoop.hdfs.protocol.ClientProtocol} is not designed for
 * direct use by authors of DFS client code.  End-users should instead use the
 * {@link org.apache.hadoop.fs.FileSystem} class.
 *
 * NameNode also implements the
 * {@link org.apache.hadoop.hdfs.server.protocol.DatanodeProtocol} interface,
 * used by DataNodes that actually store DFS data blocks.  These
 * methods are invoked repeatedly and automatically by all the
 * DataNodes in a DFS deployment.
 *
 * NameNode also implements the
 * {@link org.apache.hadoop.hdfs.server.protocol.NamenodeProtocol} interface,
 * used by secondary namenodes or rebalancing processes to get partial
 * NameNode state, for example partial blocksMap etc.
 **********************************************************/
 

這段註釋說明了NameNode的用途和實現的功能，本人英文不好在這裡就不翻譯了。

下面來看一下NameNode類的定義：

  @InterfaceAudience.Private
  public class NameNode implements NameNodeStatusMXBean {
    //些處省略類體定義

  }

O-O不是說好的實現了那麼多介面嗎，怎麼就實現了一個介面，是不是有介面繼承那再來看一
下這個介面的內容吧：

/**
 * This is the JMX management interface for NameNode status information
 * 這是一個被JMX管理的介面來監控NameNode的狀態
 */
 

@InterfaceAudience.Public
@InterfaceStability.Evolving
public interface NameNodeStatusMXBean {

  /**
   * Gets the NameNode role.
   * 獲取NameNode的角色
   * 角色分為 NAMENODE("NameNode"),BACKUP("Backup Node"),CHECKPOINT("Checkpoint Node");
   * @return the NameNode role.
   */
  public String getNNRole();

  /**
   * Gets the NameNode state.
   * 獲取NameNode的狀態這個是對HA來說的
   * 可以有initializing,active,standby和stopping
   * @return
 
 the NameNode state.
   */
  public String getState();

  /**
   * Gets the host and port colon separated.
   * 獲取NameNode的IP和埠號（localhost:9000） 
   * @return host and port colon separated.
   */
  public String getHostAndPort();

  /**
   * Gets if security is enabled.
   * 獲取是否開啟了安全驗證
   * @return true, if security is enabled.
   */
  public boolean isSecurityEnabled();
}

木有，那它是怎麼實現上面所說的方法呢。來看看它的成員變數吧！

需要說明的是在Java中類實現某個功能可以通過繼承或者組合的方法
來實現

  //NameNode核心成員變數用來管理元資料
  protected FSNamesystem namesystem; 
  //儲存配置檔案的資訊
  protected final Configuration conf;
  //儲存NameNode的角色資訊
  protected final NamenodeRole role;
  //儲存NameNode的狀態
  private volatile HAState state;
  //是否開啟了高可用(HA)
  private final boolean haEnabled;
  //高可用上下文
  private final HAContext haContext;
  //NameNode核心成員變數提供RPC服務
  private NameNodeRpcServer rpcServer;

這裡只是簡單列出了幾個比較重要的成員變數來做分析，其它的有興趣可以自己閱讀原始碼
其中namesystem和rpcServer是核心成員，NameNode的大部分功能都由這兩個成員變數實現
namesystem:實現對DataNode、Block的管理以及讀寫日誌
rpcServer:提供RPC服務是DataNode和NameNode通訊和外部命令管理NameNode的視窗
以上兩個成員變數的分析將另開文章
conf:儲存NameNode的配置資訊，NameNode會根據這些資訊來初始化自己並開始執行

主要來自hdfs-site.xml

role:儲存當前NameNode的角色NAMENODE提供元資料管理的服務，BACKUP提供一個備用的NameNode並且
提供合併fsimage和edits的功能不同的是不用從NAMENODE下載（它本身的狀態和NAMENODE一致）
CHECKPOINT用來替代SecondNameNode的用來合併fsimage和edits

NameNode除了在叢集執行時提供管理叢集和元資料的功能外還提供以下功能
-FORMAT:格式化HDFS檔案系統
-GENCLUSTERID: 生成一個新的叢集ID
-FINALIZE:定版本，在升級完成並且通過測試後執行這個命令（這個命令被hdfs dfsadmin -finalizeUpgrade代替了）
-ROLLBACK:返回升級前的版本（注意：需要御載新版本並安裝老版本）
-BOOTSTRAPSTANDBY:同步active節點的快照（配置完HA需要執行這個命令）
-INITIALIZESHAREDEDITS:向備用節點共享一組edits日誌
-BACKUP:以BACKUP的角色啟動
-CHECKPOINT:以CHECKPOINT的角色啟動
-RECOVER:覆蓋元資料
-METADATAVERSION:驗證配置的正確性並列印版本資訊
-UPGRADEONLY:以升級的方式啟動
-Default:正常以NAMENODE啟動

以上命令在Hadoop的文件中都有說明可以檢視對應的詳細說明,只是說明這些命令是在這裡實現的。

以下是NameNode啟動部分的原始碼
主方法部分:

  public static void main(String argv[]) throws Exception {
    //檢查引數的合法性 在以NAMENODE啟動時不需要傳引數
    if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
      System.exit(0);
    }

    try {
      StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
      //根據引數啟動對應的NameNode
      NameNode namenode = createNameNode(argv, null);
      if (namenode != null) {
        namenode.join();
      }
    } catch (Throwable e) {
      LOG.fatal("Failed to start namenode.", e);
      terminate(1, e);
    }
  }

createNameNode方法部分

  public static NameNode createNameNode(String argv[], Configuration conf)
      throws IOException {
    LOG.info("createNameNode " + Arrays.asList(argv));
    if (conf == null)
      conf = new HdfsConfiguration();
    //解析引數
    StartupOption startOpt = parseArguments(argv);
    if (startOpt == null) {
      printUsage(System.err);
      return null;
    }
    //將啟動引數加入到配置中
    setStartupOption(conf, startOpt);
    //根據引數不同啟動（或執行不同的方法）例項
    switch (startOpt) {
    //格式化HDFS檔案系統，格式化完成後退出
      case FORMAT: {
        boolean aborted = format(conf, startOpt.getForceFormat(),
            startOpt.getInteractiveFormat());
        terminate(aborted ? 1 : 0);
        return null; // avoid javac warning
      }
      //生成一個叢集ID對叢集無影響
      case GENCLUSTERID: {
        System.err.println("Generating new cluster id:");
        System.out.println(NNStorage.newClusterID());
        terminate(0);
        return null;
      }
      //這個命令不再被支援
      case FINALIZE: {
        System.err.println("Use of the argument '" + StartupOption.FINALIZE +
            "' is no longer supported. To finalize an upgrade, start the NN " +
            " and then run `hdfs dfsadmin -finalizeUpgrade'");
        terminate(1);
        return null; // avoid javac warning
      }
      //回滾
      case ROLLBACK: {
        boolean aborted = doRollback(conf, true);
        terminate(aborted ? 1 : 0);
        return null; // avoid warning
      }
      //同步active的映象，完成後退出
      case BOOTSTRAPSTANDBY: {
        String toolArgs[] = Arrays.copyOfRange(argv, 1, argv.length);
        int rc = BootstrapStandby.run(toolArgs, conf);
        terminate(rc);
        return null; // avoid warning
      }
      //初始化共享的edits 完成後退出
      case INITIALIZESHAREDEDITS: {
        boolean aborted = initializeSharedEdits(conf,
            startOpt.getForceFormat(),
            startOpt.getInteractiveFormat());
        terminate(aborted ? 1 : 0);
        return null; // avoid warning
      }
      //以BACKUP或者 CHECKPOINT的方式啟動
      //這裡的BackUpNode是NameNode的子類
      case BACKUP:
      case CHECKPOINT: {
        NamenodeRole role = startOpt.toNodeRole();
        DefaultMetricsSystem.initialize(role.toString().replace(" ", ""));
        return new BackupNode(conf, role);
      }
      //恢復
      case RECOVER: {
        NameNode.doRecovery(startOpt, conf);
        return null;
      }
      //檢查配置的正確性
      case METADATAVERSION: {
        printMetadataVersion(conf);
        terminate(0);
        return null; // avoid javac warning
      }
      //以升級的方式啟動
      case UPGRADEONLY: {
        DefaultMetricsSystem.initialize("NameNode");
        new NameNode(conf);
        terminate(0);
        return null;
      }
      //正常啟動NameNode
      default: {
        DefaultMetricsSystem.initialize("NameNode");
        return new NameNode(conf);
      }
    }
  }

OK由於篇幅問題這一篇就到這裡吧！

下一篇預報

下一篇將介紹NameNode正常啟動的過程，關於NameNode的其它命令部分的程式碼將在後面的
文章中專門的介紹。

說明文章的主線將以NameNode的啟動，和DataNode的通訊，以及Block的管理和DataNode的
管理展開，當主線瞭解完後再回頭展開介紹一些細節的程式碼。

以上內容部分參考了網路上的內容，歡迎大家指正討論
-聯絡方式：[email protected]

-每天進步一點點
-每天快樂一點點
-每天幸福一點點