2. 程式人生 > >spark-submit 執行出現“Cannot allocate memory”錯誤

spark-submit 執行出現“Cannot allocate memory”錯誤

阿新 • • 發佈：2018-12-09

There is issufficient memory for the Java Runtime Environment to continue. 

Native memory allocation(malloc) failed to allocate xxx bytes for committing reserved memory.

一、原因分析

1. spark-env.sh 配置不合理

cd $SPARK_HOME/conf
vi spark-env.sh

檢視SPARK_DRIVER_MEMORY的值是否設定過大，導致本機器記憶體不夠無法執行。

2. spark-submit 命令中引數設定不合理

1）spark-submit 命令中沒有給定 driver-memory引數

會參照spark-env.sh中設定的值

2）spark-submit 命令中給定driver-memory引數的值過大

相關推薦

spark-submit 執行出現“Cannot allocate memory”錯誤

There is issufficient memory for the Java Runtime Environment to continue.  Native memory allocation(malloc) failed to allocate xxx bytes

system() 函式執行遇到 Cannot allocate memory

 int iRet=system("ls -l"); if (0 != iRet) { PRERR("system(\"ls -l\") %s",strerror(errno)); }執行結果： ERR: system("ls -l") Cannot all

mxnet-model-server 執行出現 libjemalloc.so.2: cannot allocate memory in static TLS block

原因好像是jemalloc5.0與xxx不相容的bug，有人建議把jemalloc5.0降級到4.4.0，步驟如下：conda install -c conda-forge jemalloc==4.4.0還有人建議修改configure.ac，再編譯jemalloc原始碼，帖

執行Runtime.exec異常: error=12,Cannot allocate memory

Exception Trace： In the Linux circumstance, when the program executes till this place:Process p = Runtime.getRuntime().exec(cmdArr);it thr

Hadoop出現allocate memory錯誤的解決

最近在單機上測試Hadoop的本地模式時，出現瞭如下錯誤 java.io.IOException: Cannot run program "bash": java.io.IOException: error=12, Cannot allocate memory

centos Cannot allocate memory for the buffer pool

compress instr suse ocean crc ret imp 參數設置 git mysql 無法啟動 ，查看日誌： 17-10-01T15:37:27.401599Z 0 [Warning] TIMESTAMP with implicit DEFAULT v

composer proc_open(): fork failed – Cannot allocate memory

int ann open() for clas wap proc count -m 一般小的VPS 才1G內存，如果使用composer會提示內存不足的現象 解決辦法，可以使用交換內存 直接命令 /bin/dd if=/dev/zero of=/var/swap.1 bs=

ThinkPHP 對接支付寶支付出現 Cannot redeclare C() 錯誤

錯誤 cut can 第三方庫 沖突 info cannot 導入 支付寶 今天在對接支付寶支付的時候 突然出現一個 C 方法沖突的錯誤，如圖： 後面博主也在網上找了一些資料 都沒很全面的解答，沒辦法只能自己摸索，在你導入支付寶的skd也就是第三方庫類 找到一個文

vue項目啟動出現cannot GET /服務錯誤

port size tex public ont sub 技術分享 回來 mar 出現 Cannot GET/： 控制臺中並沒有報錯；npm run dev命令行窗口也沒有報錯。 原因 在網上查了一堆，發現這個問題還挺多呢，而且各個回答的解決方式都竟然有許多不同…

解決Zend OPcache huge_code_pages: mmap(HUGETLB) failed: Cannot allocate memory報錯

lan share size led 功能 false opcache not als 前幾日看到鳥哥介紹的 《讓你的PHP7更快之Hugepage》， 於是想試試手給服務器加上，參照格式安裝好擴展，調整好配置文件，然後重啟php-fpm，結果啟動一直報Zend OPcac

pid max導致fork: Cannot allocate memory 的處理

ima oss 系統 bbf 海外 遊戲 控制臺 處理 not 海外一臺服務器淩晨就開始出現了不能登錄遊戲。早上運營人員告知上服務器查看了下。 一打命令就界面提示 -bash: fork: Cannot allocate memory 輸入了幾次top 出來了才出來了，一看

Cannot allocate memory /Resource temporarily unavailable 故障分析

前言： Linux 核心有個機制叫OOM killer（Out-Of-Memory killer），該機制會監控那些佔用記憶體過大，尤其是瞬間很快消耗大量記憶體的程序，為了防止記憶體耗盡而核心會把該程序殺掉。典型的情況是：某天一臺機器突然ssh遠端登入不了，但能ping通，說明不是網路的故障

nginx: [alert] mmap(MAP_ANON|MAP_SHARED, 1073741824) failed (12: Cannot allocate memory)問題

今天進行Nginx反向代理，用nginx -t測試配置檔案是否正常時出現如下錯誤： nginx: [alert] mmap(MAP_ANON|MAP_SHARED, 1073741824) failed (12: Cannot allocate memory) 記憶體對映無法完成，共享記憶體

cassandra os::commit_memory(0x00000000cc800000, 864026624, 0) failed; error='Cannot allocate memory'

本章是關於 cassandra 資料庫執行相關錯誤解決 1、錯誤： 日誌： [[email protected] conf]# tail -f /var/log/cassandra/cassandra.log OpenJDK 64-Bit Server VM warning:

Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000fa980000, 59244544, 0) failed; error='Cannot allocate memory' (er

啟動專案報錯 Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000fa980000, 59244544, 0) failed; error='Cannot allocate memory' (errno=1

-bash: fork: Cannot allocate memory

今天遇到伺服器無法SSH，VNC操作命令提示fork:cannot allocate memory free檢視記憶體還有（注意，命令可能要多敲幾次才會出來）   檢視最大程序數 sysctl kernel.pid_max   ps -eLf | wc -l檢視程

kafka 容器報記憶體不足異常（failed; error='Cannot allocate memory' (errno=12)）

原路徑https://blog.csdn.net/womenrendeme/article/details/76855490 異常： OpenJDK 64-Bit Server VM warning: INFO: os::commit_memory(0x00000000c0000000, 1

啟動服務失敗，Java HotSpot(TM) 64-Bit Server VM warning: error='Cannot allocate memory' (errno=12)

反覆啟動（down了又起，沒起成功down了又起，反覆操作了三遍）應用服務（有多個netty服務端）的時候報這個錯誤： RealServer Start OK 2018-10-30 15:46:52 INFO:2018-10-30 15:46:52 Server beg

-bash: fork: Cannot allocate memory 問題的處理

今天遇到伺服器無法SSH，VNC操作命令提示fork:cannot allocate memory free檢視記憶體還有（注意，命令可能要多敲幾次才會出來） 檢視最大程序數 sysctl kernel.pid_max ps -eLf |

nginx 軟重啟報錯 mmap(MAP_ANON|MAP_SHARED, 524288000) failed (12: Cannot allocate memory)

解決辦法 將配置檔案的 http 的 proxy_cache_path 由500改為300 proxy_cache_path /usr/local/nginx/proxy_cache_path levels=1:2 keys_zone=cache_one: 300m inacti