2. 程式人生 > >Magicodes.IE 在100萬資料量下匯入匯出效能測試

Magicodes.IE 在100萬資料量下匯入匯出效能測試

阿新 • • 發佈：2020-06-03

原文作者：HueiFeng

前言

目前Magicodes.IE更新到了2.2.3，感謝大家的支援，同時建議大家在使用過程中如果遇到一些問題或者說需要一些額外的功能可以直接提issues，當然更建議大家提PR。

近期更新

2020.05.24

  • 【Nuget】版本更新到2.2.2

  • 【Excel匯入】增加了stream匯入擴充套件方法

  • 【Excel匯出】增加了內容居中（單列居中、整表居中）

  • 【匯出】對一些中介軟體程式碼進行了修復及優化

2020.05.16

  • 【Nuget】版本更新到2.2.1

  • 【PDF匯出】對模板引擎進行升級更新

2020.05.12

  • 【Nuget】版本更新到2.2.0

  • 【Excel模板匯出】支援匯出位元組

  • 【文件】Magicodes.IE Csv匯入匯出

  • 【Excel匯入匯出】修復標註的新增問題

  • 【匯出】ASP.NET Core Web API 中使用自定義格式化程式匯出Excel、Pdf、Csv等內容 #64

  • 【匯入匯出】支援使用System.ComponentModel.DataAnnotations名稱空間下的部分特性來控制匯入匯出 #63

效能測試

電腦配置以及環境如下所示：




BenchmarkDotNet=v0.12.1, OS=Windows 10.0.18363.836 (1909/November2018Update/19H2)
AMD Ryzen 5 3600X, 1 CPU, 12 logical and 6 physical cores
.NET Core SDK=5.0.100-preview.4.20258.7
  [Host]     : .NET Core 3.1.4 (CoreCLR 4.700.20.20201, CoreFX 4.700.20.22101), X64 RyuJIT
  Job-OONFAJ : .NET Framework 4.8 (4.8.4180.0), X64 RyuJIT
  Job-YIUEXF : .NET Core 2.2.8 (CoreCLR 4.6.28207.03, CoreFX 4.6.28208.02), X64 RyuJIT
  Job-LZHMKS : .NET Core 3.1.4 (CoreCLR 4.700.20.20201, CoreFX 4.700.20.22101), X64 RyuJIT
​
IterationCount=5  LaunchCount=1  WarmupCount=1  
 



​


Excel & Csv 匯出


Excel匯出如下所示：


 



MethodJobRuntimeRowsCountMeanErrorStdDev





ExportExcelAsByteArrayTest
Job-OONFAJ
.NET 4.6.1
10000
153.1 ms
5.52 ms
0.85 ms




ExportExcelAsByteArrayTest
Job-YIUEXF
.NET Core 2.2
10000
138.0 ms
1.53 ms
0.40 ms




ExportExcelAsByteArrayTest
Job-LZHMKS
.NET Core 3.1
10000
143.0 ms
9.86 ms
1.53 ms




ExportExcelAsByteArrayTest
Job-OONFAJ
.NET 4.6.1
120000
1,904.2 ms
98.37 ms
25.55 ms




ExportExcelAsByteArrayTest
Job-YIUEXF
.NET Core 2.2
120000
1,662.8 ms
132.04 ms
20.43 ms




ExportExcelAsByteArrayTest
Job-LZHMKS
.NET Core 3.1
120000
1,636.1 ms
99.64 ms
25.88 ms




ExportExcelAsByteArrayTest
Job-OONFAJ
.NET 4.6.1
240000
3,688.3 ms
58.52 ms
15.20 ms




ExportExcelAsByteArrayTest
Job-YIUEXF
.NET Core 2.2
240000
3,268.1 ms
138.16 ms
21.38 ms




ExportExcelAsByteArrayTest
Job-LZHMKS
.NET Core 3.1
240000
3,223.9 ms
70.93 ms
10.98 ms




ExportExcelAsByteArrayTest
Job-OONFAJ
.NET 4.6.1
500000
7,723.4 ms
179.06 ms
46.50 ms




ExportExcelAsByteArrayTest
Job-YIUEXF
.NET Core 2.2
500000
6,959.7 ms
481.61 ms
125.07 ms




ExportExcelAsByteArrayTest
Job-LZHMKS
.NET Core 3.1
500000
6,833.2 ms
331.74 ms
86.15 ms




ExportExcelAsByteArrayTest
Job-OONFAJ
.NET 4.6.1
1000000
15,443.7 ms
582.64 ms
151.31 ms




ExportExcelAsByteArrayTest
Job-YIUEXF
.NET Core 2.2
1000000
13,798.9 ms
207.09 ms
32.05 ms




ExportExcelAsByteArrayTest
Job-LZHMKS
.NET Core 3.1
1000000
13,484.1 ms
424.85 ms
110.33 ms






Csv匯出如下所示：





MethodJobRuntimeRowsCountMeanErrorStdDev





ExportCsvAsByteArrayTest
Job-SRSOYE
.NET 4.6.1
10000
30.43 ms
2.493 ms
0.647 ms




ExportCsvAsByteArrayTest
Job-WLDFBY
.NET Core 2.2
10000
30.12 ms
5.981 ms
1.553 ms




ExportCsvAsByteArrayTest
Job-JSEPRQ
.NET Core 3.1
10000
24.53 ms
0.142 ms
0.022 ms




ExportCsvAsByteArrayTest
Job-SRSOYE
.NET 4.6.1
120000
345.51 ms
16.385 ms
4.255 ms




ExportCsvAsByteArrayTest
Job-WLDFBY
.NET Core 2.2
120000
330.03 ms
16.025 ms
4.162 ms




ExportCsvAsByteArrayTest
Job-JSEPRQ
.NET Core 3.1
120000
287.98 ms
11.898 ms
3.090 ms




ExportCsvAsByteArrayTest
Job-SRSOYE
.NET 4.6.1
240000
687.57 ms
10.379 ms
2.695 ms




ExportCsvAsByteArrayTest
Job-WLDFBY
.NET Core 2.2
240000
656.00 ms
13.741 ms
2.126 ms




ExportCsvAsByteArrayTest
Job-JSEPRQ
.NET Core 3.1
240000
560.43 ms
12.721 ms
3.304 ms




ExportCsvAsByteArrayTest
Job-SRSOYE
.NET 4.6.1
500000
1,478.88 ms
31.074 ms
8.070 ms




ExportCsvAsByteArrayTest
Job-WLDFBY
.NET Core 2.2
500000
1,379.52 ms
20.652 ms
5.363 ms




ExportCsvAsByteArrayTest
Job-JSEPRQ
.NET Core 3.1
500000
1,182.48 ms
39.358 ms
10.221 ms




ExportCsvAsByteArrayTest
Job-SRSOYE
.NET 4.6.1
1000000
2,918.99 ms
43.023 ms
6.658 ms




ExportCsvAsByteArrayTest
Job-WLDFBY
.NET Core 2.2
1000000
2,751.29 ms
19.970 ms
5.186 ms




ExportCsvAsByteArrayTest
Job-JSEPRQ
.NET Core 3.1
1000000
2,332.39 ms
57.988 ms
8.974 ms






Excel & Csv 匯入


Excel匯入如下所示：





MethodJobRuntimeRowsCountMeanErrorStdDev





ImportByStreamTest
Job-URKTYJ
.NET 4.6.1
10000
711.4 μs
136.2 μs
35.37 μs




ImportByStreamTest
Job-AFBGUZ
.NET Core 2.2
10000
746.2 μs
131.8 μs
20.40 μs




ImportByStreamTest
Job-DUXAFG
.NET Core 3.1
10000
792.4 μs
186.5 μs
48.42 μs




ImportByStreamTest
Job-URKTYJ
.NET 4.6.1
120000
2,297.6 μs
181.3 μs
47.08 μs




ImportByStreamTest
Job-AFBGUZ
.NET Core 2.2
120000
2,139.5 μs
204.5 μs
53.12 μs




ImportByStreamTest
Job-DUXAFG
.NET Core 3.1
120000
2,035.8 μs
304.8 μs
47.17 μs




ImportByStreamTest
Job-URKTYJ
.NET 4.6.1
240000
5,378.2 μs
887.9 μs
230.59 μs




ImportByStreamTest
Job-AFBGUZ
.NET Core 2.2
240000
5,345.6 μs
989.9 μs
257.08 μs




ImportByStreamTest
Job-DUXAFG
.NET Core 3.1
240000
4,672.5 μs
1,004.5 μs
260.86 μs




ImportByStreamTest
Job-URKTYJ
.NET 4.6.1
500000
11,336.6 μs
657.3 μs
170.69 μs




ImportByStreamTest
Job-AFBGUZ
.NET Core 2.2
500000
10,833.4 μs
952.9 μs
247.45 μs




ImportByStreamTest
Job-DUXAFG
.NET Core 3.1
500000
10,525.7 μs
561.0 μs
145.69 μs




ImportByStreamTest
Job-URKTYJ
.NET 4.6.1
1000000
21,965.7 μs
1,058.5 μs
274.88 μs




ImportByStreamTest
Job-AFBGUZ
.NET Core 2.2
1000000
20,612.1 μs
628.2 μs
163.14 μs




ImportByStreamTest
Job-DUXAFG
.NET Core 3.1
1000000
20,451.1 μs
3,807.7 μs
988.84 μs






Csv匯入如下所示：





MethodJobRuntimeRowsCountMeanErrorStdDev





ImportByStreamTest
Job-OPUXWE
.NET 4.6.1
10000
294.1 μs
1.99 μs
0.31 μs




ImportByStreamTest
Job-OVPAAE
.NET Core 2.2
10000
283.7 μs
3.54 μs
0.55 μs




ImportByStreamTest
Job-AMXXYD
.NET Core 3.1
10000
284.5 μs
1.77 μs
0.46 μs




ImportByStreamTest
Job-OPUXWE
.NET 4.6.1
120000
2,116.1 μs
13.28 μs
2.05 μs




ImportByStreamTest
Job-OVPAAE
.NET Core 2.2
120000
1,855.8 μs
80.59 μs
20.93 μs




ImportByStreamTest
Job-AMXXYD
.NET Core 3.1
120000
1,849.3 μs
186.63 μs
48.47 μs




ImportByStreamTest
Job-OPUXWE
.NET 4.6.1
240000
5,121.9 μs
270.99 μs
70.37 μs




ImportByStreamTest
Job-OVPAAE
.NET Core 2.2
240000
4,448.3 μs
84.91 μs
13.14 μs




ImportByStreamTest
Job-AMXXYD
.NET Core 3.1
240000
4,301.9 μs
78.77 μs
20.46 μs




ImportByStreamTest
Job-OPUXWE
.NET 4.6.1
500000
11,245.2 μs
120.46 μs
18.64 μs




ImportByStreamTest
Job-OVPAAE
.NET Core 2.2
500000
10,214.1 μs
113.20 μs
29.40 μs




ImportByStreamTest
Job-AMXXYD
.NET Core 3.1
500000
10,460.1 μs
90.90 μs
23.61 μs




ImportByStreamTest
Job-OPUXWE
.NET 4.6.1
1000000
21,807.0 μs
299.03 μs
46.28 μs




ImportByStreamTest
Job-OVPAAE
.NET Core 2.2
1000000
19,830.9 μs
186.01 μs
48.30 μs




ImportByStreamTest
Job-AMXXYD
.NET Core 3.1
1000000
20,051.3 μs
395.98 μs
102.83 μs






Reference


https://github.com/dotnetcore/Magicodes.IE


 


原文作者：HueiFeng
   
 
 
 
 

            
  

           

              
              

            

            
相關推薦

			   
            
            
            
 

    


    
    
Magicodes.IE 在100萬資料量下匯入匯出效能測試

     
 原文作者：HueiFeng
前言
目前Magicodes.IE更新到了2.2.3，感謝大家的支援，同時建議大家在使用過程中如果遇到一些問題或者說需要一些額外的功能可以直接提issues，當然更建議大家提PR。
近期更新
2020.05.24


【Nuget】版本更新到2.2.2


【Excel匯入】增加了 



  
 

    


    
    
NHibernate的大資料量插入的簡單效能測試

     
 
[ActiveRecord]
    publicclass GuidTestObject
    {
        [PrimaryKey(PrimaryKeyType.GuidComb)]
        publicvirtual Guid Id { get; set; }

        [Pr 



  
 

    


    
    
mysql大資料量下優化

     
 1 優化sql和索引2 增加快取如：redis3 主從複製或主主複製，讀寫分離4 利用mysql自帶分割槽表5 先做垂直拆分，將一個大系統分為多個小系統，也就是分散式6 水平切分，要選擇一個合理的sharding key,為了有好的查詢效率，表結構也要改動，做一定的冗餘，應用也要改，sql中儘量帶shardi 



  
 

    


    
    
大資料量下高併發同步

     
  
 
   對於我們開發的網站，如果網站的訪問量非常大的話，那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題， 
  但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。 
     為了更好的理解併 



  
 

    


    
    
百億資料量下，掌握這些Redis技巧你大概就穩住了全場

     
 今天將會跟大家討論一些Redis在大資料中的使用，包括一些Redis的使用技巧和其他的一些內容。 
首先給大家個地址： 
https://github.com/NewLifeX/NewLife.Redis 
原始碼以及例項都在裡面，當然今天的內容也是按照裡面的例項來進行的，大家可以先進行下載。 
這裡也附上R 



  
 

    


    
    
轉：百億資料量下，掌握這些Redis技巧你大概就穩住了全場

     
 原文:https://www.douban.com/note/699241909/ 
一、Redis封裝架構講解 
實際上NewLife.Redis是一個完整的Redis協議功能的實現，但是Redis的核心功能並沒有在這裡面，而是在NewLife.Core裡面。 
這裡可以開啟看一下，NewLife.Core 



  
 

    


    
    
大資料量下的集合過濾—Bloom Filter

     
 
                演算法背景如果想判斷一個元素是不是在一個集合裡，一般想到的是將集合中所有元素儲存起來，然後通過比較確定。連結串列、樹、散列表（又叫雜湊表，Hash table）等等資料結構都是這種思路，儲存位置要麼是磁碟，要麼是記憶體。很多時候要麼是以時間換空間，要麼是以空間換時間。在響應時 



  
 

    


    
    
大資料量下高併發同步的講解(高併發的瓶頸-需要處理的內容)

     
 
                
對於我們開發的網站，如果網站的訪問量非常大的話，那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題，
但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。
   為了更好的理解併發和同步，我們需要先 



  
 

    


    
    
大資料量下的SQL Server資料庫自身優化

     
 
                
原文： http://www.d1net.com/bigdata/news/284983.html

1.1：增加次資料檔案
         從SQL SERVER 2005開始，資料庫不預設生成NDF資料檔案，一般情況下有一個主資料檔案(MDF)就夠了，但是有些大型的資 



  
 

    


    
    
通過索引，極大提高MySQL大資料量下的查詢效率

     
 
                我在這裡測試了兩個表的左連線查詢，SQL語句是：select a.blog_id,a.blog_title,a.blog_thumb,a.blog_click,a.blog_addtime,a.blog_show,b.blog_category_name from `thin 



  
 

    


    
    
【Itext】解決Itext5大併發大資料量下輸出PDF發生記憶體溢位outofmemery異常

     
 
                關鍵字 itext5 outofmemery 記憶體溢位 大資料 高併發 多執行緒 pdf 匯出 報表 itext 併發大資料量高併發的時候，Itext5會發生記憶體溢位，outofmemery異常，經過大規模的記憶體檢查，發現Itext在生成表格的時候，使用了很多的Hash 



  
 

    


    
    
大資料量下高併發同步的講解（不看，保證你後悔）

     
 
                
   對於我們開發的網站，如果網站的訪問量非常大的話，那麼我們就需要考慮相關的併發訪問問題了。而併發問題是絕大部分的程式設計師頭疼的問題，
但話又說回來了，既然逃避不掉，那我們就坦然面對吧~今天就讓我們一起來研究一下常見的併發和同步吧。
   為了更好的理解併發和同步，我們 



  
 

    


    
    
大資料量高效匯入資料庫（以excel匯入sqlserver為例）

     
 
                
      
 最近正在做一個專案，要把excel中的資料匯入到sqlserver資料庫中，首先想到的就是insert,採用連線Excel物件的Microsoft.ACE.OLEDB.12.0介面引擎連線到excel,然後讀取到DataTable中然後每次讀取一個Row，i 



  
 

    


    
    
大資料量下查詢顯示優化方案小結

     
 # 大資料量下查詢顯示優化方案小結 #

最近工作中，遇到了優化大批量資料查詢和顯示的問題，資料量在10W級別。經過反覆設計和討論，最終得到優化到了較為滿意的效果，在此記錄小結下，在解決此類問題中的思考。

## 問題背景說明 ##

通常情況下，使用者查詢資料量不超過1千條，但有幾個大戶，通過某種方式，生成 



  
 

    


    
    
MySQL在命令列下匯入匯出.sql檔案的方法

     
 
mysql> source c:/pursey.sql;
Query OK, 0 rows affected, 1 warning (0.15 sec)
Query OK, 0 rows affected, 1 warning (0.00 sec)
Query OK, 0 rows affected, 



  
 

    


    
    
linux下匯入匯出oracle的dmp檔案

     
 
                1.匯出dmp件

命令：exp QGTG/\"[email protected]\" file=/usr/fuck.dmp

exp QGTG/\"[email protected]\" file=/usr/fuck.dmp full=y ，多了個ful 



  
 

    


    
    
Magicodes.IE編寫多框架版本支援和執行單元測試

     
 背景
很多情況下，我們編寫了一些工具庫之後，往往在某些框架版本中會出現一些問題，比如本人最近寫的一個匯入匯出的工具庫Magicodes.IE（GitHub：https://github.com/xin-lai/Magicodes.IE）就出現了以下問題：
 

 

雖然支援標 



  
 

    


    
    
Maven工程POI匯入匯出Excel測試直接可用

     
 
                1:首先在pom.xml配置匯入jar包<dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><versi 



  
 

    


    
    
快速匯入100萬條Excel資料到MySql

     
  
  
  
 因業務需要,將100萬條Excel資料匯入MySql OS : CentOS7 , MySql 5.7 做了2個純命令匯入測試,不考慮phpmyadmin,navicate匯入. 
 首先MySql調整全域性變數 
 set  max allowed packet =104857600  ( 



  
 

    


    
    
JDK8 switch使用字串比if else 效率高,親測大資料量資料下

     
  
 
 
 
 
 for (TemplateFormVO templateFormVO:templateFormVOS){
     formid=String.valueOf(templateFormVO.getFormId());
     formId=templateFormVO.getFormI