flume接收來的資料太大怎麼處理？
在flume中，將kafka作為flume的輸入源，通過memory的方式，將資料寫到hdfs上，當kafka的資料較大時，出現如下錯誤
16/03/24 16:57:31 ERROR network.BoundedByteBufferReceive: OOME with size 722234
java.lang.OutOfMemoryError: Java heap space
at java.nio.HeapByteBuffer.<init>(HeapByteBuffer.java:57)
at java.nio.ByteBuffer.allocate(ByteBuffer.java:335)
at kafka.network.BoundedByteBufferReceive.byteBufferAllocate(BoundedByteBufferReceive.scala:80)
at kafka.network.BoundedByteBufferReceive.readFrom(BoundedByteBufferReceive.scala:63)
at kafka.network.Receive$class.readCompletely(Transmission.scala:56)
at kafka.network.BoundedByteBufferReceive.readCompletely(BoundedByteBufferReceive.scala:29)
at kafka.network.BlockingChannel.receive(BlockingChannel.scala:100)
at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:81)
at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:71)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(SimpleConsumer.scala:109)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply(SimpleConsumer.scala:109)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1$$anonfun$apply$mcV$sp$1.apply(SimpleConsumer.scala:109)
at kafka.metrics.KafkaTimer.time(KafkaTimer.scala:33)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply$mcV$sp(SimpleConsumer.scala:108)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply(SimpleConsumer.scala:108)
at kafka.consumer.SimpleConsumer$$anonfun$fetch$1.apply(SimpleConsumer.scala:108)
at kafka.metrics.KafkaTimer.time(KafkaTimer.scala:33)
at kafka.consumer.SimpleConsumer.fetch(SimpleConsumer.scala:107)
at kafka.server.AbstractFetcherThread.processFetchRequest(AbstractFetcherThread.scala:96)
at kafka.server.AbstractFetcherThread.doWork(AbstractFetcherThread.scala:88)
at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:51)
16/03/24 16:57:32 ERROR consumer.ConsumerFetcherThread: [ConsumerFetcherThread-flume_ibd105-1458809849949-5f4498cc-0-46], Error due to
java.lang.OutOfMemoryError: GC overhead limit exceeded
Exception in thread "ConsumerFetcherThread-flume_ibd105-1458809849949-5f4498cc-0-45" java.lang.OutOfMemoryError: GC overhead limit exceeded
16/03/24 16:57:32 ERROR consumer.ConsumerFetcherThread: [ConsumerFetcherThread-flume_ibd105-1458809849949-5f4498cc-0-45], Error due to
16/03/24 16:57:32 INFO consumer.ConsumerFetcherThread: [ConsumerFetcherThread-flume_ibd105-1458809849949-5f4498cc-0-46], Stopped
Exception in thread "ConsumerFetcherThread-flume_ibd105-1458809849949-5f4498cc-0-43" java.lang.OutOfMemoryError: GC overhead limit exceeded
Exception in thread "metrics-meter-tick-thread-2" java.lang.OutOfMemoryError: GC overhead limit exceeded
Exception in thread "ConsumerFetcherThread-flume_ibd105-1458809849949-5f4498cc-0-44" java.lang.OutOfMemoryError: GC overhead limit exceeded
處理的辦法是在flume conf配置下修改配置的大小。
相關推薦
flume接收來的資料太大怎麼處理？
在flume中，將kafka作為flume的輸入源，通過memory的方式，將資料寫到hdfs上，當kafka的資料較大時，出現如下錯誤 16/03/24 16:57:31 ERROR network.BoundedByteBufferReceive: OOME with s
Tomcat-前端所傳表單資料太大，導致後臺引數接收不到為null的解決辦法
原因是傳輸的資料大小超過了tomcat的預設post請求大小，預設為2097152Byte，也就是2M的大小。 如果要傳輸超過2M的資料則需要修改tomcat的server.xml下的maxPostSize屬性，如下： <Connector port="
前端所傳表單資料太大，導致後臺引數接收不到為null的解決辦法
原因是傳輸的資料大小超過了tomcat的預設post請求大小，預設為2097152Byte，也就是2M的大小。 如果要傳輸超過2M的資料則需要修改tomcat的server.xml下的maxPostSi
java web專案，post請求傳送資料太大的處理方法
可以設定tomcat，server.xml中Connector中的屬性，maxPostSize的值。 <Connector port="8080" protocol="HTTP/1.1"
頁面訪問伺服器返回json格式資料太大，導致資料不全被截斷，無法展示
問題：頁面展示呼叫查詢方法查詢全部資料的時候一直顯示loading。。。，開啟偵錯程式顯示 Failed to load resource: net::ERR_SPDY_PROTOCOL_ERROR，而少部分查詢則正常顯示。 因為資料中有圖片轉成的二進位制陣列，資料比較長，由此懷疑
Java中由於資料太大自動轉換成科學計數法解決方式
1.java後臺 （1）使用BigDecimal類 方式一：String str=new BigDecimal(num+”“).toString(); 方式二：String str=new BigDecimal(num.toString()).toString(); （2）使用De
java調Python指令碼（五）：java通過 Runtime.getRuntime().exec（）調Python指令碼一直沒有返回值，卡住了，資料太大
1、背景： 當我們呼叫系統外部的某個程式，此時就可以用Runtime.getRuntime().exec()來呼叫。這次java調Python演算法程式碼時，一直沒有返回值，卡住了，而用pycharm跑Python程式碼是正常的，說明是java這邊的問題。去看了後臺的java程序一直都在，掛
傳輸資料太大導致的MySQL server has gone away問題解決辦法
mysql出現ERROR : (2006, 'MySQL server has gone away') 的問題意思就是指client和MySQL server之間的連結斷開了。 造成這樣的原因一般是sql操作的時間過長，或者是傳送的資料太大(例如使用insert ... v
RestTemplate請求，響應資料太大導致eof
在使用PRC獲取資料時，往往有時響應資料太大。我們一般會考慮分頁，請求中包含了一些分頁引數，pageNum,pageSize等。 但是我碰到一個場景就是，需要一次性載入所有資料供客戶端進行自定義排序（例如：客戶端可以按字母排序等） 一但資料量過大就會造成eof異常，這是需要
ViewState 資料太大影響效能導致頁面報錯
案件背景：工作中的一個報表之前一直工作正常，但是有一天突然使用者開啟報錯，提示view state 無效。檢查程式碼發現沒有問題，檢查前臺頁面後發現報表顯示後的viewstate大小居然達到40M以上。通過在頁面增加下面兩個事件的程式碼，把view state 儲存到文字檔案
解決ASP.NET 請求資料太大500錯誤 JSON無法反序列化
當向服務端提交請求時（ajax）post資料非常大的情況下，post資料中有超過450個物件的陣列時，請求會返回錯誤資訊：JSON無法反序列化 解決方法： 方案一：可以在配置檔案web.config中設定 <appSettings> <add
Flume+Kafka+Storm+Redis構建大資料實時處理系統
資料處理方法分為離線處理和線上處理，今天寫到的就是基於Storm的線上處理。在下面給出的完整案例中，我們將會完成下面的幾項工作： 如何一步步構建我們的實時處理系統（Flume+Kafka+Storm+Redis） 實時處理網站的使用者訪問日誌，並統計出該網站的PV、UV 將實時
解決持久化數據太大，單個節點的硬盤無法存儲的問題；解決運算量太大，單個節點的內存、CPU無法處理的問題
pro 一致性哈希 普通 .html 價格 str oca 計劃 硬件 需要學習的技術很多，要自學新知識也不是一件容易的事，選擇一個自己比較感興趣的會是一個比較好的開端，於是，打算學一學分布式系統。 帶著問題，有目的的學習，先了解整體架構，在深入感興趣的細節，這是我的
大資料線上分析處理和常用工具
大資料線上分析處理的特點 . 資料來源源不斷的到來； 資料需要儘快的得到處理，不能產生積壓； 處理之後的資料量依然巨大，仍然後TB級甚至PB級的資料量； 處理的結果能夠儘快的展現； 以上四個特點可以總結為資料的收集->資料的傳輸->資料的處理-&g
大資料的實時處理STORM簡介
分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！
Apache下error.log檔案太大的處理
清除error.log、access.log並限制Apache日誌檔案大小的方法 今天有臺伺服器Mysql突然起不來了，檢查報錯發現是磁碟滿了，可用空間為0KB，進去後發現Apache的錯誤日誌error.log非常的大，造成D盤被爆滿。 在網上搜了下相應的資料，並按照如下步驟做了一遍，網站恢復
Kafka，Flume，OpenStack，Hive大資料雲端計算必學技術
OpenStack專案是一個開源的雲端計算平臺,旨在實現很簡單,大規模可伸縮,功能豐富。來自世界各地雲端計算開發人員和技術人員共同建立OpenStack專案。OpenStack通過一組相關的服務提供一個基礎設施即服務(IaaS)解決方案。每個服務提供了一個應用程式程式設計介面(API),促進了這
Python環境安裝及資料基本預處理-大資料ML樣本集案例實戰
版權宣告：本套技術專欄是作者（秦凱新）平時工作的總結和昇華，通過從真實商業環境抽取案例進行總結和分享，並給出商業應用的調優建議和叢集環境容量規劃等內容，請持續關注本套部落格。QQ郵箱地址：[email protected]，如有任何學術交流，可隨時聯絡。 1 Python環
STM32+NRF24L01 傳送端，傳送資料，返回0x10，即一直返回最大重發次數值。但接收端能接收到資料。
現象：傳送端傳送資料，接收端能接收到。 但傳送端判斷為傳送失敗，檢視返回值為0X10。 即NRF24L01_TxPacket(tmp_buf)的值為0X10，TX_OK值為0X20，故雖然接收端能收到資料。但 傳送端顯示“傳送失敗” 深入檢視“NRF24L01_T
15年來，自然語言處理神經網路相關技術發展史上的8大里程碑
原標題：15年來，自然語言處理髮展史上的8大里程碑 自然語言是人類獨有的智慧結晶。自然語言處理（Natural Language Processing，NLP）是電腦科學領域與人工智慧領域中的一個重要方向，旨在研究能實現人與