JAVA讀取40G左右的TXT檔案
問題描述:現有一個txt檔案pnrTest,大小為40G左右,並且知道A中每一行都是一個xml檔案標準格式的內容,現在要把A中的每一行讀取出來然後放到佇列中去分析。
解決方案分析1:
方案1設定50m的快取去讀,還是不行,最後發現這種方法只能讀取2G以下的檔案。
方案2:用NIO方式把大檔案分成固定大小的小檔案(小於2G,自己綜合分析設定多大,每個檔案太大容易浪費空間,太小浪費時間),然後再迴圈用方案1去讀每個小檔案。
2.1經過執行readLargeTextWithNIO()分割後的目錄如下:
2.2然後再用方案1去讀取D盤下temp資料夾中的所有小檔案(大小為128M)。下面只列出部分程式碼,網上可以查到。
3.如果執行時報記憶體溢位,可以對著執行的類點選右鍵Run as/Run configrition設定一下就可以了。
--------------------- 本文來自 綠林__ 的CSDN 部落格 ,全文地址請點選:https://blog.csdn.net/dixialieren/article/details/30071461?utm_source=copy
相關推薦
JAVA讀取40G左右的TXT檔案
問題描述:現有一個txt檔案pnrTest,大小為40G左右,並且知道A中每一行都是一個xml檔案標準格式的內容,現在要把A中的每一行讀取出來然後放到佇列中去分析。 解決方案分析1: 方案1設定50m的快取去讀,還是不行,最後發現這種方法只能讀取2G以下的檔案
java實現讀取excel或者txt檔案,匯入MongoDB資料庫
在工作中經常遇到讀取的檔案的問題,於是做了一個小總結。 1.Excel表格內容如下 2.建立main主類 public static void main(String[] args) throws Exception { &nb
[轉載] js 讀取和輸出txt檔案
https://www.jb51.net/article/46712.htm ActiveXObject is not defined,ActiveXObject是IE瀏覽器獨有支援的外掛,其他瀏覽器可能不支援。 then--前端不好將資料儲存到本地txt檔案,可以通過jq
java 讀取專案外面配置檔案的方法
public static void loadProps(String propertiesUrl) { props = new Properties(); InputStream in = null; try { in =new BufferedInputStr
Java學習——讀寫txt檔案
package HHH; import java.io.*; import static java.lang.System.out; public class OpenFile { public static void main(String[] args) {
Java IO 匯入匯出TXT檔案
1、位元組流 使用位元組緩衝區 將資料寫到TXT中 public void IOTest() throws IOException { String str = "你好,世界"; FileOutputStream fos = new FileOutputStream("d:"
java讀取*.properties的配置檔案
java.Util.Properties類 HashTable的子類,實現Map集合該集合沒有泛型,鍵值都是字串它是個可以持久化的屬性集,可以和IO物件結合使用 方法: void load(InputSream in)void load(Reader reader) 流物件讀取檔案
python讀取點雲txt檔案並顯示
#-*-coding:utf-8-*- import numpy as np import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D def readXYZfile(filename,
Java程式碼輸出到txt檔案(申請專利貼原始碼的必備利器)
最近公司在申請專利,編寫不少文件,專案的程式碼量實在是過於龐大。如果一個一個的複製貼上雖然能夠完成,但是對於程式設計師而言實在沒有這個必要。shell或者python就能解決這個問題。由於我個人對於shell和python不是非常熟練的情況下,因此我使用Java來實現這個目的。 該指令碼稱不
Java 讀取jar內的檔案
private static String jarPath = Encrypt.class.getProtectionDomain().getCodeSource().getLocation().getFile(); URL url=new URL("jar:file:" + jarPat
java讀取本地constant.properties檔案內容
constant.properties中的內容是 鍵值對 例如:PING_IP=192.168.93.42 另外需要一個類,如下: package me.gacl.websocket; import java.io.IOException; import j
20170928 使用網頁管理叢集 按行讀取寫入useragent txt檔案
根據20170901---20170903的position資料分析useragent,優化urlutil。 從叢集中hdfs dfs -cat /user/log/position/20170901/*/* |awk -Furlutil'\t' 'print $8'|sort|uniq >
java如何追加寫入txt檔案
java中,對檔案進行追加內容操作的三種方法 import java.io.BufferedWriter; import java.io.FileOutputStream; import java.io.FileWriter; import java.io.IOExcept
java讀取ini格式的檔案
已上圖就是ini檔案的格式,經常在配置檔案中用到。 1、核心程式碼: /** * 去除ini檔案中的註釋,以";"或"#"開頭,順便去除UTF-8等檔案的BOM頭 * @param source * @return */ private
java 實現讀一個txt檔案 寫入到另一個txt檔案
import java.io.*; public class ck{ public static void main(String[] args){ try{ File read = new File("d://jjjj.txt"); File write =
Pandas學習筆記(三)——讀取 CSV、TXT檔案
pandas是資料分析專用庫。從外部讀寫檔案也屬於資料處理的一部分。pandas提供了多種I/O API函式。支援多種型別資料的讀取。常用的函式如下:讀取函式寫入函式read_csv to_csvread_excelto_excelread_hdfto_hdfread_s
Java讀取與寫入圖片檔案
// FileImageInputStream fis = new FileImageInputStream(new File("timg.jpg")); // File
python讀取unicode編碼txt檔案
之前用kindle匯出的txt檔案是unicode編碼的,想要自己寫個小程式來自行格式化,然而怎麼讀都是亂碼。像這樣: 一開始沒有找到辦法只好把txt檔案另存為ansi格式,順利格式化了。 但是,為什麼會讀取成這樣呢? 最後一直查辦法終於找到了這個東西:chardet 匯入它以後使用
c++儲存和讀取資料到txt檔案中並用python畫圖
#include<fstream> #include<iostream> using namespace std; int main() { ofstream out("D://wang//test.txt");//寫資料到指定目標資料夾,這個資料夾
Java讀取和寫入CSV檔案
有一種比較簡單的資料儲存方式,那就是CSV,這個系統預設採用逗號分割的檔案方式。 Excel轉成CSV檔案,在Windows下預設的列表分隔符是逗號(,)。在某些情況下,我們可能需要更改列表分隔符