2. 程式人生 > 其它 >Suricata原始碼分析-配置模組載入

Suricata原始碼分析-配置模組載入

阿新 • • 發佈：2022-04-21

初始化載入配置

ConfYamlLoadFile（主函式）

模組主函式是通過SuricataMain -> LoadYamlConfig -> ConfYamlLoadFile 進入的，Suricata中解析YAML檔案是通過c語言libyaml庫實現的，libyaml庫有三種方式來解析YAML檔案，本程式中使用了基於事件（event-based）的方式。

tips：以下說明默認了解libyaml庫的基本使用

/* 從YAML檔案載入配置。
 * 這個函式將載入一個配置檔案。失敗返回-1並退出，載入配置檔案時的任何錯誤都將被記錄下來
 * 引數：要載入的配置檔名字
 */
int ConfYamlLoadFile(const char *filename)
{
    FILE *infile;         // 檔案指標
    yaml_parser_t parser; // yaml解析器
    int ret;
    ConfNode *root = ConfGetRootNode(); // 配置節點樹的根節點

    // 初始化yaml解析器
    if (yaml_parser_initialize(&parser) != 1) {
        SCLogError(SC_ERR_FATAL, "failed to initialize yaml parser.");
        return -1;
    }

    // 檢查檔名，是否是目錄
    struct stat stat_buf;
    if (stat(filename, &stat_buf) == 0) {
        if (stat_buf.st_mode & S_IFDIR) {
            SCLogError(SC_ERR_FATAL,
                    "yaml argument is not a file but a directory: %s. "
                    "Please specify the yaml file in your -c option.",
                    filename);
            yaml_parser_delete(&parser);
            return -1;
        }
    }

    // 開啟檔案並檢查檔案指標
    // coverity[toctou : FALSE]
    infile = fopen(filename, "r");
    if (infile == NULL) {
        SCLogError(SC_ERR_FATAL, "failed to open file: %s: %s", filename, strerror(errno));
        yaml_parser_delete(&parser);
        return -1;
    }

    // 設定配置檔案的目錄名
    if (conf_dirname == NULL) {
        ConfYamlSetConfDirname(filename);
    }

    // 開啟YAML檔案，開始遞迴解析
    yaml_parser_set_input_file(&parser, infile);
    ret = ConfYamlParse(&parser, root, 0, 0);
    yaml_parser_delete(&parser);
    fclose(infile);

    return ret;
}

ConfYamlParse（遞迴解析函式）

ConfYamlParse是一個遞迴的函式，按層級解析yaml檔案（當遞迴次數達到128時，解析會失敗）。這個函式主要是按照事件型別（詳見yaml.h）判斷，進行對應的操作。以下擷取幾個重要的事件型別進行說明

1. Document Start事件

suricata.yaml檔案最開始寫有字串%YAML 1.1 ---，是用來註明YAML檔案版本的。當該事件觸發時，程式會驗證YAML檔案版本，來判斷此配置檔案是否有效。

// 驗證YAML版本，如果版本正確，它就更有可能是一個有效的Suricata配置檔案
yaml_version_directive_t *ver = event.data.document_start.version_directive;
// 版本資訊為空，輸出提示資訊跳轉失敗
if (ver == NULL) {
    SCLogError(SC_ERR_CONF_YAML_ERROR, "ERROR: Invalid configuration file.");
    SCLogError(SC_ERR_CONF_YAML_ERROR, "The configuration file must begin with the "
                                       "following two lines: %%YAML 1.1 and ---");
    goto fail;
}
// 驗證版本資訊
int major = ver->major;
int minor = ver->minor;
// 驗證失敗，輸出提示資訊跳轉失敗
if (!(major == YAML_VERSION_MAJOR && minor == YAML_VERSION_MINOR)) {
    SCLogError(SC_ERR_CONF_YAML_ERROR, "ERROR: Invalid YAML version.  Must be 1.1");
    goto fail;
}

2. Scalar事件

scalar是最主要的事件，用來獲取具體的配置內容。

首先根據引數inseq判斷是否是列表，如果是列表就開始新增節點

// 拼接節點名
char sequence_node_name[DEFAULT_NAME_LEN];
snprintf(sequence_node_name, DEFAULT_NAME_LEN, "%d", seq_idx++);
// 通過名稱查詢子節點
ConfNode *seq_node = ConfNodeLookupChild(parent, sequence_node_name);
// 如果節點不為空，就刪除它
if (seq_node != NULL) {
    /* 這個序列節點已經被設定，可能是從命令列中。刪除它，
     * 以便按照迭代的期望序列重新新增。
     */
    TAILQ_REMOVE(&parent->head, seq_node, next);
} else { // 如果節點為空，則分配一個新節點
    seq_node = ConfNodeNew();
    if (unlikely(seq_node == NULL)) {
        goto fail;
    }
    // 拷貝節點名稱
    seq_node->name = SCStrdup(sequence_node_name);
    if (unlikely(seq_node->name == NULL)) {
        SCFree(seq_node);
        goto fail;
    }
    // 如果節點value不為空，則拷貝
    if (value != NULL) {
        seq_node->val = SCStrdup(value);
        if (unlikely(seq_node->val == NULL)) {
            SCFree(seq_node->name);
            goto fail;
        }
    } else { // 節點值為空
        seq_node->val = NULL;
    }
}
// 插入節點到隊伍末尾
TAILQ_INSERT_TAIL(&parent->head, seq_node, next);

如果不是列表，再根據配置處理狀態分為三種情況：CONF_INCLUDE,CONF_KEY,CONF_VALUE

  1. CONF_INCLUDE：include關鍵字用來包含另一個YAML檔案，要呼叫ConfYamlHandleInclude函式解析另外的YAML檔案
// 用來解析配置中包含的YAML檔案
static int ConfYamlHandleInclude(ConfNode *parent, const char *filename)
{
    yaml_parser_t parser;
    char include_filename[PATH_MAX];
    FILE *file = NULL;
    int ret = -1;

    // 初始化yaml物件
    if (yaml_parser_initialize(&parser) != 1) {
        SCLogError(SC_ERR_CONF_YAML_ERROR, "Failed to initialize YAML parser");
        return -1;
    }

    // 驗證路徑是否是絕對路徑
    if (PathIsAbsolute(filename)) {
        strlcpy(include_filename, filename, sizeof(include_filename));
    } else {
        // 拼接出絕對路徑
        snprintf(include_filename, sizeof(include_filename), "%s/%s", conf_dirname, filename);
    }

    // 開啟檔案並檢測
    file = fopen(include_filename, "r");
    if (file == NULL) {
        SCLogError(SC_ERR_FOPEN, "Failed to open configuration include file %s: %s",
                include_filename, strerror(errno));
        goto done;
    }

    // 關聯檔案控制代碼和yaml物件
    yaml_parser_set_input_file(&parser, file);

    // 遞迴解析
    if (ConfYamlParse(&parser, parent, 0, 0) != 0) {
        SCLogError(SC_ERR_CONF_YAML_ERROR, "Failed to include configuration file %s", filename);
        goto done;
    }

    ret = 0;

    // 清理環境，退出
done:
    yaml_parser_delete(&parser);
    if (file != NULL) {
        fclose(file);
    }

    return ret;
}
  1. CONF_KEY：獲取到鍵，新增新節點，檢測是否有非法字元'_'並輸出警告
// include關鍵字用來包含另一個yaml檔案，需要另外解析
if (strcmp(value, "include") == 0) {
    state = CONF_INCLUDE;
    goto next;
}

/* 判斷父節點如果是序列，並且為空。則將
* value 拷貝過去，並替換不支援的字元
*/
if (parent->is_seq) {
    if (parent->val == NULL) {
        parent->val = SCStrdup(value);
        if (parent->val && strchr(parent->val, '_'))
            // 損壞不支援的字元
            Mangle(parent->val);
    }
}
// 通過名稱查詢子節點
ConfNode *existing = ConfNodeLookupChild(parent, value);
// 如果查詢結果不為空，需要重定義節點
if (existing != NULL) {
    if (!existing->final) {
        SCLogInfo("Configuration node '%s' redefined.", existing->name);
        // 修整配置節點（類似釋放，但留下final引數）
        ConfNodePrune(existing);
    }
    node = existing;
} else {    
    // 查詢結果為空，則分配一個新的節點
    node = ConfNodeNew();
    // 拷貝資料
    node->name = SCStrdup(value);
    // 遇到不支援的字元'_'且不屬於特殊的兩組的配置，則輸出警告：不建議使用……
    if (node->name && strchr(node->name, '_')) {
        if (!(parent->name &&
                    ((strcmp(parent->name, "address-groups") == 0) ||
                            (strcmp(parent->name, "port-groups") == 0)))) {
            // 損壞不支援的字元
            Mangle(node->name);
            if (mangle_errors < MANGLE_ERRORS_MAX) {
                SCLogWarning(SC_WARN_DEPRECATED,
                        "%s is deprecated. Please use %s on line %" PRIuMAX ".",
                        value, node->name, (uintmax_t)parser->mark.line + 1);
                mangle_errors++;
                // 警告提示10次以上則不再提示
                if (mangle_errors >= MANGLE_ERRORS_MAX)
                    SCLogWarning(SC_WARN_DEPRECATED,
                            "not showing more "
                            "parameter name warnings.");
            }
        }
    }
    // 插入節點到隊伍末尾
    TAILQ_INSERT_TAIL(&parent->head, node, next);
}
state = CONF_VAL;   // 配置處理狀態賦值為：值
  1. CONF_VALUE：獲取到值，新增到對應的鍵下
if (value != NULL && (tag != NULL) && (strcmp(tag, "!include") == 0)) {
    SCLogInfo("Including configuration file %s at "
              "parent node %s.",
            value, node->name);
    // 解析配置中包含的YAML檔案
    if (ConfYamlHandleInclude(node, value) != 0)
        goto fail;
} else if (!node->final && value != NULL) {
    // 拷貝資料
    if (node->val != NULL)
        SCFree(node->val);
    node->val = SCStrdup(value);
}
state = CONF_KEY;

3. Sequence Start事件

sequence事件說明此時是列表，需要繼續遞迴解析下一層資訊

4. Mapping Start事件

mapping事件觸發時，根據引數inseq決定是否開始新增節點，或是繼續下一層

SCLogDebug("event.type=YAML_MAPPING_START_EVENT; state=%d", state);
if (inseq) { // 如果是序列，開始新增節點
    char sequence_node_name[DEFAULT_NAME_LEN];
    snprintf(sequence_node_name, DEFAULT_NAME_LEN, "%d", seq_idx++);
    // 根據名稱查詢子配置節點
    ConfNode *seq_node = ConfNodeLookupChild(node, sequence_node_name);
    if (seq_node != NULL) {
        // 序列節點已經被設定，可能是從命令列。刪除它，以便按照迭代的預期序列重新新增
        TAILQ_REMOVE(&node->head, seq_node, next);
    } else {
        // 分配一個新的配置節點
        seq_node = ConfNodeNew();
        // 檢查結果
        if (unlikely(seq_node == NULL)) {
            goto fail;
        }
        // 拷貝節點名稱
        seq_node->name = SCStrdup(sequence_node_name);
        if (unlikely(seq_node->name == NULL)) {
            SCFree(seq_node);
            goto fail;
        }
    }
    seq_node->is_seq = 1;
    // 插入到佇列末尾
    TAILQ_INSERT_TAIL(&node->head, seq_node, next);
    // 繼續遞迴
    if (ConfYamlParse(parser, seq_node, 0, rlevel) != 0)
        goto fail;
} else { // 如果不是序列，繼續遞迴解析
    if (ConfYamlParse(parser, node, inseq, rlevel) != 0)
        goto fail;
}
state = CONF_KEY; // 配置處理狀態：鍵

過載配置

配置的過載是在SuricataMainLoop主執行緒迴圈中，當程式接收到訊號，會呼叫DetectEngineReload函式重新載入規則、配置等相關資訊。關於配置的過載主要是通過ConfYamlLoadFileWithPrefix函式實現

/* 過載時呼叫的載入配置函式：從YAML檔案中載入配置，插入到樹的‘prefix’處
* 
* 這個函式將載入一個配置檔案並插入到配置樹的‘prefix’節點。這意味著，如果以字首“abc”
* 呼叫這個函式，並且檔案包含引數“def”，他將作為“abc.def”被載入。
* 
* 引數1：檔名
* 引數2：要使用的字首名
* 返回值：成功返回0，失敗返回-1
*/
int ConfYamlLoadFileWithPrefix(const char *filename, const char *prefix)
{
    FILE *infile;
    yaml_parser_t parser;
    int ret;
    ConfNode *root = ConfGetNode(prefix);

    // 初始化yaml物件
    if (yaml_parser_initialize(&parser) != 1) {
        SCLogError(SC_ERR_FATAL, "failed to initialize yaml parser.");
        return -1;
    }

    // 檢查 配置檔案是否是目錄
    struct stat stat_buf;
    /* coverity[toctou] */
    if (stat(filename, &stat_buf) == 0) {
        if (stat_buf.st_mode & S_IFDIR) {
            SCLogError(SC_ERR_FATAL,
                    "yaml argument is not a file but a directory: %s. "
                    "Please specify the yaml file in your -c option.",
                    filename);
            return -1;
        }
    }

    // 開啟配置檔案
    /* coverity[toctou] */
    infile = fopen(filename, "r");
    if (infile == NULL) {
        SCLogError(SC_ERR_FATAL, "failed to open file: %s: %s", filename, strerror(errno));
        yaml_parser_delete(&parser);
        return -1;
    }

    // 設定配置檔案的目錄名
    if (conf_dirname == NULL) {
        ConfYamlSetConfDirname(filename);
    }

    // 如果作為字首的節點不存在，新增一個佔位符
    if (root == NULL) {
        ConfSet(prefix, "<prefix root node>");
        // 通過名字查詢節點
        root = ConfGetNode(prefix);
        // 如果不存在，退出函式
        if (root == NULL) {
            fclose(infile);
            yaml_parser_delete(&parser);
            return -1;
        }
    }
    // 開始遞迴解析
    yaml_parser_set_input_file(&parser, infile);
    ret = ConfYamlParse(&parser, root, 0, 0);
    yaml_parser_delete(&parser);
    fclose(infile);

    return ret;
}

相關推薦

Suricata原始碼分析-配置模組載入

初始化載入配置 ConfYamlLoadFile（主函式） 模組主函式是通過SuricataMain -> LoadYamlConfig -> ConfYamlLoadFile 進入的，Suricata中解析YAML檔案是通過c語言libyaml庫實現的，libyaml庫有三種方式來解析YA

Suricata原始碼分析-規則載入模組

規則載入之前的資料獲取 程式呼叫LoadYamlConfig 函式從 suricata.yaml 的配置檔案中，獲取到所有配置儲存到節點樹中，其中載入規則需要用到的包括：規則檔案的預設路徑default-rule-path，以及每個規則檔案的名字r

從原始碼分析ContextLoaderListener的載入過程（帶時序圖）

寫在前面 在工作中遇到一個問題，就是使用 SpringMVC自帶定時器 時，發現了定時任務執行兩次的問題。雖然問題當是是解決了。但是卻給我留下來一個大大的疑問，為什麼這樣配置？

mybaits原始碼分析--反射模組（二）

1.反射模組 MyBatis在進行引數處理、結果集對映等操作時會使用到大量的反射操作，Java中的反射功能雖然強大，但是程式碼編寫起來比較複雜且容易出錯，為了簡化反射操作的相關程式碼，MyBatis提供了專門的反射模組，

suricata 原始碼分析_01

https://blog.51cto.com/leejia/2457743 Suricata簡介 Suricata是一個高效能的IDS、IPS和網路安全監控的引擎。它是開源的，由一個社群經營的非營利基金會開放資訊保安基金會（OISF）開發。

suricata 原始碼分析_02

suricata 架構圖 架構拆分 資料包佇列處理     在TmThreadCreate中呼叫TmqCreateQueue建立PackQueue，autofp模式下且輸出佇列為flow時，首先要看outqh的OutHandleCtxSetup是否設定，若設定了則會呼叫該函式去間

Log4j2原始碼分析系列：（一）配置載入

前言 在實際開發專案中，日誌永遠是一個繞不開的話題。本系列文章試圖以slf4j和log4j2日誌體系為例，從原始碼角度分析日誌工作原理。

Mybatis 原始碼分析（一）配置檔案載入流程

技術標籤：原始碼分析Java工作筆記mybatisjava Mybatis 原始碼分析（一）配置檔案載入流程

從原始碼分析springboot環境配置載入

### 從原始碼分析springboot環境配置載入 一直沒有搞清楚springboot環境配置資訊到底是怎麼載入的，是不是在啟動時指定--spring.profiles.active之後spring就去指定讀取這個檔案了，因此這次從原始碼角度研究一下它

Spring Ioc原始碼分析 之 Bean的載入（三）：各個 scope 的 Bean 建立

在Spring中Bean有許多不同的作用域，例如：singleton、prototype、request等等，本篇文章就來分析一下各個scope的Bean是怎麼建立的

Spring Ioc原始碼分析 之 Bean的載入（六）：迴圈依賴處理

在上篇文章中，我們詳細分析了doCreateBean()中的第2步：例項化bean，本文接著分析doCreateBean()的第4步“迴圈依賴處理”,也就是populateBean()方法。

Spring Ioc原始碼分析 之 Bean的載入（一）

前言 在之前的文章中，我們分析了Spring的Ioc的初始化過程，實際上就是把 beanName 和 BeanDefinition 註冊到DefaultListableBeanFactory的map中。

Spring Ioc原始碼分析 之 Bean的載入（二）

在上篇文章中Spring Ioc 之 Bean的載入（一），我們分析了Spring Ioc中Bean的載入 doGetBean() 方法的2.2從快取中獲取單例bean和2.3獲取最終的bean例項物件兩個步驟，我們接著分析餘下幾個步驟。

淺談webpack和webpack-cli模組原始碼分析

webpack4與webpack3的區別 webpack4.0 以後，似乎執行方式就發生了改變，不再是 webpack 一波流，而是多了一個 webpack-cli。webpack3中webpack-cli是合在webpack中。所以在命令列執行 webpack 命令的同時，會提示讓

詳解go基於viper實現配置檔案熱更新及其原始碼分析

go第三方庫 github.com/spf13/viper 實現了對配置檔案的讀取並注入到結構中，好用方便。

socketserver模組使用與原始碼分析

socketserver模組使用與原始碼分析 前言 　　在前面的學習中我們其實已經可以通過socket模組來建立我們的服務端，並且還介紹了關於TCP協議的粘包問題。但是還有一個非常大的問題就是我們所編寫的Server端是不支援併發

Vue3.0 原始碼分析（一）：響應式模組 reactivity

前言 學習 Vue3.0 原始碼必須對以下知識有所瞭解： proxy reflect iterator map weakmap set weakset symbol

aspnetcore讀取配置【原始碼分析】

總的邏輯 // 1 新增配置源source ,結果儲存在IConfigurationBuilder的成員變數 IList<IConfigurationSource> Sources { get; } 中

基於Django呼叫配置檔案方式實現呼叫配置檔案、Django原始碼分析

在專案中有兩套配置檔案，一個是預設配置（如rest_framework中的settings），一個是使用者配置（Django框架的settings）

java學習-類載入-Class以及對應的openjdk原始碼分析

對於class的分析,對於java中的所有的資料實際都是Class物件,不管是原生型別還是物件型別;