C# 超高速高效能寫日誌程式碼開源

阿新 • • 發佈：2018-10-31

1、需求

需求很簡單，就是在C#開發中高速寫日誌。比如在高併發，高流量的地方需要寫日誌。我們知道程式在操作磁碟時是比較耗時的，所以我們把日誌寫到磁碟上會有一定的時間耗在上面，這些並不是我們想看到的。

2、解決方案

2.1、簡單原理說明

使用列隊先快取到記憶體，然後我們一直有個執行緒再從列隊中寫到磁碟上，這樣就可以高速高效能的寫日誌了。因為速度慢的地方我們分離出來了，也就是說程式在把日誌扔給列隊後，程式的日誌部分就算完成了，後面操作磁碟耗時的部分程式是不需要關心的，由另一個執行緒操作。

俗話說，魚和熊掌不可兼得，這樣會有一個問題，就是如果日誌已經到列隊了這個時候程式崩潰或者電腦斷電都會導致日誌部分丟失，但是有些地方為了高效能的寫日誌，是否可以忽略一些情況，請各位根據情況而定。

2.2、示例圖

3、關鍵程式碼部分

這裡寫日誌的部分LZ選用了比較常用的log4net，當然也可以選擇其他的日誌元件，比如nlog等等。

3.1、日誌至列隊部分

第一步我們首先需要把日誌放到列隊中，然後才能從列隊中寫到磁碟上。

        public void EnqueueMessage(string message, FlashLogLevel level, Exception ex = null)
        {
            if ((level == FlashLogLevel.Debug && _log.IsDebugEnabled)
             || (level == FlashLogLevel.Error && _log.IsErrorEnabled)
             || (level == FlashLogLevel.Fatal && _log.IsFatalEnabled)
             || (level == FlashLogLevel.Info && _log.IsInfoEnabled)
             || (level == FlashLogLevel.Warn && _log.IsWarnEnabled))
            {
                _que.Enqueue(new FlashLogMessage
                {
                    Message = "[" + DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss,fff") + "]\r\n" + message,
                    Level = level,
                    Exception = ex
                });

                // 通知執行緒往磁碟中寫日誌
                _mre.Set();
            }
        }

_log是log4net日誌元件的ILog，其中包含了寫日誌，判斷日誌等級等功能，程式碼開始部分的if判斷就是判斷等級和現在的日誌等級做對比，看是否需要寫入列隊，這樣可以有效的提高日誌的效能。

其中的_que是ConcurrentQueue列隊。_mre是ManualResetEvent訊號，ManualResetEvent是用來通知執行緒列隊中有新的日誌，可以從列隊中寫入磁碟了。當從列隊中寫完日誌後，重新設定訊號，在等待下次有新的日誌到來。

3.2、列隊到磁碟

從列隊到磁碟我們需要有一個執行緒從列隊寫入磁碟，也就是說我們在程式啟動時就要載入這個執行緒，比如asp.net中就要在global

中的Application_Start中載入。

       /// <summary>
        /// 另一個執行緒記錄日誌，只在程式初始化時呼叫一次
        /// </summary>
        public void Register()
        {
            Thread t = new Thread(new ThreadStart(WriteLog));
            t.IsBackground = false;
            t.Start();
        }

        /// <summary>
        /// 從佇列中寫日誌至磁碟
        /// </summary>
        private void WriteLog()
        {
            while (true)
            {
                // 等待訊號通知
                _mre.WaitOne();

                FlashLogMessage msg;
                // 判斷是否有內容需要如磁碟 從列隊中獲取內容，並刪除列隊中的內容
                while (_que.Count > 0 && _que.TryDequeue(out msg))
                {
                    // 判斷日誌等級，然後寫日誌
                    switch (msg.Level)
                    {
                        case FlashLogLevel.Debug:
                            _log.Debug(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Info:
                            _log.Info(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Error:
                            _log.Error(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Warn:
                            _log.Warn(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Fatal:
                            _log.Fatal(msg.Message, msg.Exception);
                            break;
                    }
                }

                // 重新設定訊號
                _mre.Reset();
　　　　　　　　  Thread.Sleep(1);
            }
        }

3.3、完整程式碼

using log4net;
using log4net.Config;
using System;
using System.Collections.Concurrent;
using System.Collections.Generic;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading;
using System.Threading.Tasks;

namespace Emrys.FlashLog
{
    public sealed class FlashLogger
    {
        /// <summary>
        /// 記錄訊息Queue
        /// </summary>
        private readonly ConcurrentQueue<FlashLogMessage> _que;

        /// <summary>
        /// 訊號
        /// </summary>
        private readonly ManualResetEvent _mre;

        /// <summary>
        /// 日誌
        /// </summary>
        private readonly ILog _log;

        /// <summary>
        /// 日誌
        /// </summary>
        private static FlashLogger _flashLog = new FlashLogger();


        private FlashLogger()
        {
            var configFile = new FileInfo(Path.Combine(AppDomain.CurrentDomain.BaseDirectory, "log4net.config"));
            if (!configFile.Exists)
            {
                throw new Exception("未配置log4net配置檔案！");
            }

            // 設定日誌配置檔案路徑
            XmlConfigurator.Configure(configFile);

            _que = new ConcurrentQueue<FlashLogMessage>();
            _mre = new ManualResetEvent(false);
            _log = LogManager.GetLogger(System.Reflection.MethodBase.GetCurrentMethod().DeclaringType);
        }

        /// <summary>
        /// 實現單例
        /// </summary>
        /// <returns></returns>
        public static FlashLogger Instance()
        {
            return _flashLog;
        }

        /// <summary>
        /// 另一個執行緒記錄日誌，只在程式初始化時呼叫一次
        /// </summary>
        public void Register()
        {
            Thread t = new Thread(new ThreadStart(WriteLog));
            t.IsBackground = false;
            t.Start();
        }

        /// <summary>
        /// 從佇列中寫日誌至磁碟
        /// </summary>
        private void WriteLog()
        {
            while (true)
            {
                // 等待訊號通知
                _mre.WaitOne();

                FlashLogMessage msg;
                // 判斷是否有內容需要如磁碟 從列隊中獲取內容，並刪除列隊中的內容
                while (_que.Count > 0 && _que.TryDequeue(out msg))
                {
                    // 判斷日誌等級，然後寫日誌
                    switch (msg.Level)
                    {
                        case FlashLogLevel.Debug:
                            _log.Debug(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Info:
                            _log.Info(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Error:
                            _log.Error(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Warn:
                            _log.Warn(msg.Message, msg.Exception);
                            break;
                        case FlashLogLevel.Fatal:
                            _log.Fatal(msg.Message, msg.Exception);
                            break;
                    }
                }

                // 重新設定訊號
                _mre.Reset();
                Thread.Sleep(1);
            }
        }


        /// <summary>
        /// 寫日誌
        /// </summary>
        /// <param name="message">日誌文字</param>
        /// <param name="level">等級</param>
        /// <param name="ex">Exception</param>
        public void EnqueueMessage(string message, FlashLogLevel level, Exception ex = null)
        {
            if ((level == FlashLogLevel.Debug && _log.IsDebugEnabled)
             || (level == FlashLogLevel.Error && _log.IsErrorEnabled)
             || (level == FlashLogLevel.Fatal && _log.IsFatalEnabled)
             || (level == FlashLogLevel.Info && _log.IsInfoEnabled)
             || (level == FlashLogLevel.Warn && _log.IsWarnEnabled))
            {
                _que.Enqueue(new FlashLogMessage
                {
                    Message = "[" + DateTime.Now.ToString("yyyy-MM-dd HH:mm:ss,fff") + "]\r\n" + message,
                    Level = level,
                    Exception = ex
                });

                // 通知執行緒往磁碟中寫日誌
                _mre.Set();
            }
        }

        public static void Debug(string msg, Exception ex = null)
        {
            Instance().EnqueueMessage(msg, FlashLogLevel.Debug, ex);
        }

        public static void Error(string msg, Exception ex = null)
        {
            Instance().EnqueueMessage(msg, FlashLogLevel.Error, ex);
        }

        public static void Fatal(string msg, Exception ex = null)
        {
            Instance().EnqueueMessage(msg, FlashLogLevel.Fatal, ex);
        }

        public static void Info(string msg, Exception ex = null)
        {
            Instance().EnqueueMessage(msg, FlashLogLevel.Info, ex);
        }

        public static void Warn(string msg, Exception ex = null)
        {
            Instance().EnqueueMessage(msg, FlashLogLevel.Warn, ex);
        }

    }

    /// <summary>
    /// 日誌等級
    /// </summary>
    public enum FlashLogLevel
    {
        Debug,
        Info,
        Error,
        Warn,
        Fatal
    }


    /// <summary>
    /// 日誌內容
    /// </summary>
    public class FlashLogMessage
    {
        public string Message { get; set; }
        public FlashLogLevel Level { get; set; }
        public Exception Exception { get; set; }

    }





}

4、效能對比和應用

4.1、效能對比

經過測試發現

使用原始的log4net寫入日誌100000條資料需要：19104毫秒。

同樣資料使用列隊方式只需要251毫秒。

4.2、應用

4.2.1、需要在程式啟動時註冊，如asp.net 程式中在Global.asax中的Application_Start註冊。

    public class MvcApplication : System.Web.HttpApplication
    {
        protected void Application_Start()
        {
            AreaRegistration.RegisterAllAreas();
            FilterConfig.RegisterGlobalFilters(GlobalFilters.Filters);
            RouteConfig.RegisterRoutes(RouteTable.Routes);
            BundleConfig.RegisterBundles(BundleTable.Bundles);

            FlashLogger.Instance().Register();
        }
    }

4.2.2、在需要寫入日誌的地方直接呼叫FlashLogger的靜態方法即可。

            FlashLogger.Debug("Debug");
            FlashLogger.Debug("Debug", new Exception("testexception"));
            FlashLogger.Info("Info");
            FlashLogger.Fatal("Fatal");
            FlashLogger.Error("Error");
            FlashLogger.Warn("Warn", new Exception("testexception"));

5、程式碼開源

https://github.com/Emrys5/Emrys.FlashLog

轉載：https://www.cnblogs.com/emrys5/p/flashlog.html

C# 超高速高效能寫日誌程式碼開源

1、需求

2、解決方案

2.1、簡單原理說明

2.2、示例圖

3、關鍵程式碼部分

3.1、日誌至列隊部分

3.2、列隊到磁碟

3.3、完整程式碼

4、效能對比和應用

4.1、效能對比

4.2、應用

4.2.1、需要在程式啟動時註冊，如asp.net 程式中在Global.asax中的Application_Start註冊。

4.2.2、在需要寫入日誌的地方直接呼叫FlashLogger的靜態方法即可。

5、程式碼開源

C# 超高速高效能寫日誌程式碼開源

《21天學通C#》將寫的程式碼原封不動的在控制檯顯示

C++中關於寫日誌檔案Log的方法

C# 寫日誌的方法

C#2.0 webservice下使用log4net 寫日誌

c#寫日誌

c# 多執行緒使用佇列順序寫日誌的類（需要再優化）

怎樣寫出高效能的 Java 程式碼？

.NET/C# 中你可以在程式碼中寫多個 Main 函式，然後按需要隨時切換

c# 檔案IO流寫日誌檔案

Linux C語言自己動手寫日誌生成函式

Haiku OS，一款報錯日誌如同寫詩的開源作業系統

【程式碼備忘】C++ fstream 讀寫 unicode 檔案

Linux C寫日誌檔案

windows下寫日誌檔案的程式碼

【C語言】寫程式碼可以在整型有序陣列中查詢想要的數字，找到了返回下標，找不到返回-1.（折半查詢）

C#輕量級高效能日誌元件EasyLogger(六)

c#寫日誌（.text）

[c#][測試]自己寫的混淆程式碼

C++讀寫HDFS程式碼

C# 超高速高效能寫日誌 程式碼開源

1、需求

2、解決方案

2.1、簡單原理說明

2.2、示例圖

3、關鍵程式碼部分

3.1、日誌至列隊部分

3.2、列隊到磁碟

3.3、完整程式碼

4、效能對比和應用

4.1、效能對比

4.2、應用

4.2.1、需要在程式啟動時註冊，如asp.net 程式中在Global.asax中的Application_Start註冊。

4.2.2、在需要寫入日誌的地方直接呼叫FlashLogger的靜態方法即可。

5、程式碼開源

相關推薦

C# 超高速高效能寫日誌程式碼開源