2. 程式人生 > >Hadoop審計日誌配置[轉自 AIMP平臺wiki]

Hadoop審計日誌配置[轉自 AIMP平臺wiki]

阿新 • • 發佈：2019-01-10

Hadoop審計日誌配置

  • hdfs審計
    log4j.properties 中配置（預設就包含）
    hdfs.audit.logger=INFO,NullAppender
hdfs.audit.log.maxfilesize=256MB
hdfs.audit.log.maxbackupindex=20
log4j.logger.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=${hdfs.audit.logger}
log4j.additivity.org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit=false   (是否同時寫到namenode日誌中）
#log4j.logger.org.apache.hadoop.security=DEBUG,RFAAUDIT （會有部分認證授權資訊）
log4j.appender.RFAAUDIT=org.apache.log4j.RollingFileAppender
log4j.appender.RFAAUDIT.File=${hadoop.log.dir}/hdfs-audit.log
log4j.appender.RFAAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.RFAAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n
log4j.appender.RFAAUDIT.MaxFileSize=${hdfs.audit.log.maxfilesize}
log4j.appender.RFAAUDIT.MaxBackupIndex=${hdfs.audit.log.maxbackupindex}

修改hadoop-env.sh中 HADOOP_NAMENODE_OPTS中hdfs.audit.logger配置

export HADOOP_NAMENODE_OPTS=.... -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,RFAAUDIT} $HADOOP_NAMENODE_OPTS

日誌輸出namenode主機logs/hdfs-audit.log
日誌格式如下：

2014-04-30 10:19:13,173 INFO FSNamesystem.audit: allowed=true    ugi=cdh5 (auth:SIMPLE)    ip=/10.1.251.52    cmd=create    src=/a._COPYING_    dst=null    perm=cdh5:supergroup:rw-r--r--

ugi <user>,<group>[,<group>]*
ip <client ip address>
cmd (open|create|delete|rename|mkdirs|listStatus|setReplication|setOwner|setPermission)
src <path>
dst (<path>|"null")
perm (<user>:<group>:<perm mask>|"null")
  • MapReduce審計
    log4j.properties配置，預設沒有log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger=${mapred.audit.logger}，手工增加：
    mapred.audit.logger=INFO,MRAUDIT
mapred.audit.log.maxfilesize=256MB
mapred.audit.log.maxbackupindex=20
log4j.logger.org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger=${mapred.audit.logger}
log4j.logger.org.apache.hadoop.mapred.AuditLogger=${mapred.audit.logger}
log4j.additivity.org.apache.hadoop.mapred.AuditLogger=false
log4j.appender.MRAUDIT=org.apache.log4j.RollingFileAppender
log4j.appender.MRAUDIT.File=${hadoop.log.dir}/mapred-audit.log
log4j.appender.MRAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.MRAUDIT.layout.ConversionPattern=%d{ISO8601} %p %c{2}: %m%n
log4j.appender.MRAUDIT.MaxFileSize=${mapred.audit.log.maxfilesize}
log4j.appender.MRAUDIT.MaxBackupIndex=${mapred.audit.log.maxbackupindex}

日誌輸出在resourcemanager主機的logs/mapred-audit.log

格式如下：

2014-04-30 10:35:09,595 INFO resourcemanager.RMAuditLogger: USER=cdh5    IP=10.1.251.52    OPERATION=Submit Application RequestTARGET=ClientRMService    RESULT=SUCCESS    APPID=application_1398825288110_0001
  • hive審計

元資料查詢修改審計：
conf/hive-log4j.properties

log4j.appender.HAUDIT=org.apache.log4j.DailyRollingFileAppender
log4j.appender.HAUDIT.File=${hive.log.dir}/hive_audit.log
log4j.appender.HAUDIT.DatePattern=.yyyy-MM-dd
log4j.appender.HAUDIT.layout=org.apache.log4j.PatternLayout
log4j.appender.HAUDIT.layout.ConversionPattern=%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n
log4j.logger.org.apache.hadoop.hive.metastore.HiveMetaStore.audit=INFO,HAUDIT

日誌檔案：logs/hive_audit.log

日誌格式：

2014-04-30 11:26:09,918 INFO  HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(242)) - ugi=cdh5    ip=unknown-ip-addr      cmd=get_database: default
2014-04-30 11:26:09,931 INFO  HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(242)) - ugi=cdh5    ip=unknown-ip-addr      cmd=get_tables: db=default pat=.*
2014-04-30 11:26:45,153 INFO  HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(242)) - ugi=cdh5    ip=unknown-ip-addr      cmd=get_table : db=default tbl=abc
2014-04-30 11:26:45,253 INFO  HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(242)) - ugi=cdh5    ip=unknown-ip-addr      cmd=get_table : db=default tbl=abc
2014-04-30 11:26:45,285 INFO  HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(242)) - ugi=cdh5    ip=unknown-ip-addr      cmd=get_table : db=default tbl=abc
2014-04-30 11:26:45,315 INFO  HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(242)) - ugi=cdh5    ip=unknown-ip-addr      cmd=drop_table : db=default tbl=abc
  • hbase security

1）開啟hbase security
在所有節點hbase-site.xml中加入以下內容重啟，其中指定rpc engine為SecurepcEngine，因為該引擎能傳遞remote client傳遞的使用者憑證（如使用者名稱）

    <property>
          <name>hbase.rpc.engine</name>
          <value>org.apache.hadoop.hbase.ipc.SecureRpcEngine</value>
     </property>
     <property>
          <name>hbase.coprocessor.master.classes</name>
         <value>org.apache.hadoop.hbase.security.access.AccessController</value>
     </property>
     <property>
          <name>hbase.coprocessor.region.classes</name>
          <value>org.apache.hadoop.hbase.security.token.TokenProvider,org.apache.hadoop.hbase.security.access.AccessController</value>
    </property>
<property>
   <name>hbase.superuser</name>
   <value>superuser-accout:cdh5</value>       <!--指定superuser -->
</property>

2）配置log4j.properties，開啟Security audit appender，預設有

hbase.security.log.file=SecurityAuth.audit
hbase.security.log.maxfilesize=256MB
hbase.security.log.maxbackupindex=20
log4j.appender.RFAS=org.apache.log4j.RollingFileAppender
log4j.appender.RFAS.File=${hbase.log.dir}/${hbase.security.log.file}
log4j.appender.RFAS.MaxFileSize=${hbase.security.log.maxfilesize}
log4j.appender.RFAS.MaxBackupIndex=${hbase.security.log.maxbackupindex}
log4j.appender.RFAS.layout=org.apache.log4j.PatternLayout
log4j.appender.RFAS.layout.ConversionPattern=%d{ISO8601} %p %c: %m%n
log4j.category.SecurityLogger=${hbase.security.logger}
log4j.additivity.SecurityLogger=true
log4j.logger.SecurityLogger.org.apache.hadoop.hbase.security.access.AccessController=TRACE

日誌格式如下：

2014-06-10 16:09:53,319 TRACE SecurityLogger.org.apache.hadoop.hbase.security.access.AccessController: Access allowed for user cdh5; reason: Table permission granted; remote address: /10.1.251.152; request: deleteTable; context: (user=cdh5, scope=yqhtt, family=, action=ADMIN)
2014-06-10 16:09:53,356 TRACE SecurityLogger.org.apache.hadoop.hbase.security.access.AccessController: Access allowed for user cdh5; reason: All users allowed; remote address: /10.1.251.152; request: getClosestRowBefore; context: (user=cdh5, scope=hbase:meta, family=info, action=READ)
2014-06-10 16:09:53,403 TRACE SecurityLogger.org.apache.hadoop.hbase.security.access.AccessController: Access allowed for user cdh5; reason: Table permission granted; remote address: /10.1.251.152; request: delete; context: (user=cdh5, scope=hbase:meta, family=info:, action=WRITE)
2014-06-10 16:09:53,444 TRACE SecurityLogger.org.apache.hadoop.hbase.security.access.AccessController: Access allowed for user cdh5; reason: Table permission granted; remote address: /10.1.251.152; request: delete; context: (user=cdh5, scope=hbase:acl, family=l:, action=WRITE)
2014-06-10 16:09:53,471 TRACE SecurityLogger.org.apache.hadoop.hbase.security.access.AccessController: Access allowed for user cdh5; reason: All users allowed; remote address: /10.1.251.152; request: getClosestRowBefore; context: (user=cdh5, scope=hbase:meta, family=info, action=READ)

Updated by 楊 啟虎 , 
Access count: 16 :since 2012-04-07

相關推薦

Hadoop審計日誌配置[轉自 AIMP平臺wiki]

Hadoop審計日誌配置 hdfs審計 log4j.properties 中配置（預設就包含）hdfs.audit.logger=INFO,NullAppender hdfs.audit.log.maxfilesize=256MB hdfs.audit.log.maxbackupindex=20 log4

Yarn公平排程器[轉自 AIMP平臺wiki]

Yarn公平排程器 預設，基於記憶體做公平排程。可以配置成基於記憶體和CPU。 只有一個作業時，它使用整個系統的資源；新的作業提交後，被釋放的資源就會分配給它，最終每個作業獲得同樣的資源。 這會讓短時作業在合理時間內完成，並不會“餓著”長時間的作業。 公平排程器也支援優先順序、它作為作業獲得叢集資源的權值

友盟錯誤日誌分析(轉自：COCOACHINA shemy )

*** -[__NSArrayM objectAtIndex:]: index 20 beyond bounds [0 .. 19] (null) ( "0 CoreFoundation 0x371308bf __

hadoop相關日誌配置項

 (1)Hadoop系統服務輸出的日誌 諸如NameNode、DataNode、ResourceManage等系統自帶的服務輸出來的日誌預設是存放在${HADOOP_HOME}/logs目錄下。 resourcemanager的日誌存放路徑可以配置在（在${HADOOP_H

Apache(httpd)配置--用戶認證，域名跳轉和訪問日誌配置

用戶認證 域名跳轉 訪問日誌 一、用戶認證 用戶認證功能就是在用戶訪問網站的時候，需要輸入用戶名密碼才能進行訪問。一些比較好總要的站點和網站後臺都會加上用戶認證，以保證安全。實例：下面對zlinux.com站點來做一個全站的用戶認證： 步驟1：編輯虛擬主機配置文件 [root@zlinux ~]#

按鈕配置之自定義按鈕使用（一）——JEPLUS軟件快速開發平臺

事件 proc oss In 需求 信息 ces otto 圖片 JEPLUS按鈕配置之自定義按鈕使用（一）系統開發過程中無論是表單的默認按鈕或是列表的默認按鈕以及Action的默認按鈕有時候並不能滿足我們的業務需求，這個時

按鈕配置之自定義按鈕使用（二）——JEPLUS軟件快速開發平臺

bottom vpd 開發平臺 rem 按鈕 ros cto -c spa JEPLUS按鈕配置之自定義按鈕使用（二）之前的一篇筆記講的是在列表上添加自定義按鈕來完成自己的業務需求，今天這篇筆記就主要講一下如何在表

Django 中使用 logging 配置 logger 自定義日誌輸出

講解 handler ati dmi ase set file 過程 require 在使用 django 開發過程中，默認的日誌輸出是不能滿足我們去排查問題的，往往需要自定義的日誌輸出，幫助我們去排查程序BUG，定位問題原因。 在使用 django 的開發過程中，我使用的

vim 配置 比較全轉自GitHub

轉自https://github.com/erasin/notes/blob/master/linux/vim/vimrc.md " GLOBAL 環境配置 " ------------------------------------------------------------------

Windows平臺Hadoop環境安裝配置

下載3個所需軟體 JDK安裝與環境變數配置 下載hadoop，建議使用國內源下載 ，比如：清華大學源 下載hadooponwindows-master.zip【**能支援在windows執行hadoop的工具】 安裝配置 這篇文章寫的比較好，簡單幾步

大資料平臺SQL編碼開發規範--轉自阿里雲DataWorks

本文向您介紹SQL編碼的基本原則和詳細的編碼規範。 編碼原則 SQL程式碼的編碼原則如下： 程式碼功能完善，健壯。 程式碼行清晰、整齊，具有一定的可觀賞性。 程式碼編寫要充分考慮執行速度最優的原則。 程式碼行整體層次分明、結構化強。 程式碼中應有必要的註釋以

組合語言初步瞭解-----轉自阮一峰的組合語言網路日誌

轉自http://www.ruanyifeng.com/blog/2018/01/assembly-language-primer.html 作者：阮一峰 學習程式設計其實就是學高階語言，即那些為人類設計的計算機語言。 但是，計算機不理解高階語言，必須通過編譯器轉成二進位制程式碼，才能執

使用CDN後配置nginx自定義日誌獲取訪問使用者的真實IP

問題描述：         新上線了一個專案，架構如下（簡單畫的理解就好）： 問題是：負載前面加上CDN後負載這裡無法獲取客戶的真實訪問IP，只能過去到CDN的IP地址； 問題解決： 修改nginx日誌新增：$HTTP_CDN_SRC_IP log_fo

Hadoop 3.0: YARN Resource自定義資源配置說明

  yarn支援可擴充套件資源型別 所有節點、應用程式、佇列，預設情況下Yarn使用 CPU和記憶體。資源定義可以擴充套件為任意的“countable”資源。一個countable 資源，container執行的時候，將會被暫用，完畢後將會釋放。 問題導讀 yarn

轉自 方倍工作室微信公眾平臺開發

關鍵字：微信公眾平臺開發 作者：方倍工作室 在這篇微信公眾平臺開發教程中，我們假定你已經有了PHP語言程式、MySQL資料庫、計算機網路通訊、及HTTP/XML/CSS/JS等基礎。 我們將使用微信公眾賬號方倍工作室作為講解的例子，二維碼見底部。 本系列教程將引導你完成如

Flume+Kafka雙劍合璧玩轉大資料平臺日誌採集

概述 大資料平臺每天會產生大量的日誌，處理這些日誌需要特定的日誌系統。 一般而言，這些系統需要具有以下特徵： 構建應用系統和分析系統的橋樑，並將它們之間的關聯解耦； 支援近實時的線上分析系統和類似於Hadoop之類的離線分析系統； 具有高可擴充套件性。即：當資料量增加時，可以通過增加節點

SpringBoot——自定義日誌配置

一、SpringBoo的t預設配置     SpringBoot在其包下有日誌框架相關的配置檔案，含logback、log4j2等，這也是為什麼SpringBoot可以直接使用這些日誌框架的原因： 二、自定義日誌框架配置檔案     有時我們為了開啟日誌框架的高階功

Log4J日誌配置詳解和自定義log4j日誌級別及輸出日誌到不同檔案實現方法

package com.jo.work.log4j; import java.util.Enumeration; import org.apache.log4j.Appender; import org.apache.log4j.FileAppender; import org.apache.log4j.

35.再談SpringBoot自定義日誌配置--LogBack.xml

在實際專案開發中我們可能自定義日誌配置檔案。 以下為自定義LogBack配置。 application.properties logging.config=classpath:logback-spring.xml logback-spring.xml 以下配置日誌具有日

（3）香橙派+apache2與php+天貓精靈=自建平臺語音支援--香橙派環境配置

導航連結 （1）香橙派+apache2與php+天貓精靈=自建平臺語音支援--前言 （2）香橙派+apache2與php+天貓精靈=自建平臺語音支援--香橙派作業系統安裝 （3）香橙派+apache2與php+天貓精靈=自建平臺語音支援--香橙派環境配置 （4）香橙派+apache2