1. 程式人生 > >JAVA讀取40G左右的TXT檔案

JAVA讀取40G左右的TXT檔案

問題描述:現有一個txt檔案pnrTest,大小為40G左右,並且知道A中每一行都是一個xml檔案標準格式的內容,現在要把A中的每一行讀取出來然後放到佇列中去分析。

解決方案分析1:

 

 

方案1設定50m的快取去讀,還是不行,最後發現這種方法只能讀取2G以下的檔案。

方案2:用NIO方式把大檔案分成固定大小的小檔案(小於2G,自己綜合分析設定多大,每個檔案太大容易浪費空間,太小浪費時間),然後再迴圈用方案1去讀每個小檔案。

 

2.1經過執行readLargeTextWithNIO()分割後的目錄如下:

 

2.2然後再用方案1去讀取D盤下temp資料夾中的所有小檔案(大小為128M)。下面只列出部分程式碼,網上可以查到。

 

3.如果執行時報記憶體溢位,可以對著執行的類點選右鍵Run as/Run configrition設定一下就可以了。

 

--------------------- 本文來自 綠林__ 的CSDN 部落格 ,全文地址請點選:https://blog.csdn.net/dixialieren/article/details/30071461?utm_source=copy