2. 程式人生 > >檢視spark程序執行狀態以及安裝spark

檢視spark程序執行狀態以及安裝spark

阿新 • • 發佈：2019-01-24 

6、移動命令

#hadoop dfs –mv /user/test.txt  /user/test/


7、拷貝命令

#hadoop dfs –copytolocal /user/test.txt   /opt/

檢視spark上面的執行情況；
http://192.168.31.10:8080/# 

wc -l judgedoc_litigant.txt 檢視檔案有多少行；

htop檢視當前spark佔用的cpu,退出按q


命令：
vim ~/.bashrc

source ~/.bashrc

ps aux | grep spark

pkill -f "spark"


sudo chown -R sc:sc  spark-
 
2.3.1-bin-hadoop2.7/

sudo mv /home/sc/Downloads/spark-2.3.1-bin-hadoop2.7 /opt/


$SPARK_HOME 檢視spark的路徑
network_all_link_cnt.csv
network_all_link_judgedoc_cnt.csv  *
network_share_com_inv_com_judgedoc_cnt.csv 
network_c_inv_c_revoke_cnt.csv
network_c_inv_c_shixin_cnt.csv
network_c_inv_c_zhixing_cnt.csv
network_share_established_years_mean.
 
csv
network_share_judgedoc_cnt.csv  *
network_share_registered_capital_mean.csv
network_share_revoke_cnt.csv
network_share_shixin_cnt.csv
network_share_zhixing_cnt.csv

/home/sc/PycharmProjects/risk-model/scpirt/test_build_data_scripts/shixin_cox/shixin_cox_get_features/shixin_cox_biz/sub/shixin_the_last_evevt_time_merge_shixin_time_and_shixin_cnt.
 
py

http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.1/spark-2.3.1-bin-hadoop2.7.tgz

drwxr-xr-x   - scdata supergroup          0 2018-08-08 14:16 /hdfs/riskModelAuto/2018-07-24/feature/feature_extract_bidding.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-08 14:15 /hdfs/riskModelAuto/2018-07-24/feature/feature_extract_courtnotice.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 16:14 /hdfs/riskModelAuto/2018-07-24/feature/feature_extract_judgedoc.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-08 14:16 /hdfs/riskModelAuto/2018-07-24/feature/feature_extract_shixin.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-08 14:15 /hdfs/riskModelAuto/2018-07-24/feature/feature_extract_trademark.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 10:39 /hdfs/riskModelAuto/2018-07-24/feature/feature_extract_sue_by_rank_judgedoc.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-06 23:04 /hdfs/riskModelAuto/2018-07-24/feature/network_all_link_cnt.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 11:14 /hdfs/riskModelAuto/2018-07-24/feature/network_c_inv_c_revoke_cnt.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 11:29 /hdfs/riskModelAuto/2018-07-24/feature/network_c_inv_c_shixin_cnt.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 11:25 /hdfs/riskModelAuto/2018-07-24/feature/network_c_inv_c_zhixing_cnt.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 15:24 /hdfs/riskModelAuto/2018-07-24/feature/network_share_com_inv_com_judgedoc_cnt.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 14:08 /hdfs/riskModelAuto/2018-07-24/feature/network_share_registered_capital_mean.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-09 14:31 /hdfs/riskModelAuto/2018-07-24/feature/network_share_revoke_cnt.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-08 19:07 /hdfs/riskModelAuto/2018-07-24/feature/network_share_shixin_cnt.csv
drwxr-xr-x   - scdata supergroup          0 2018-08-07 12:32 /hdfs/riskModelAuto/2018-07-24/feature/network_share_zhixing_cnt.csv

相關推薦

檢視spark程序執行狀態以及安裝spark

6、移動命令 #hadoop dfs –mv /user/test.txt /user/test/ 7、拷貝命令 #hadoop dfs –copytolocal /user/test.txt /opt/ 檢視spark上面的執行情況； htt

linux下使用top命令檢視系統執行狀態和程序執行狀態

linux下top命令檢視系統執行狀態和程序執行狀態 在linux下可以通過top命令來查系統執行狀態和程序執行狀態，通過man檢視top手冊，top的解釋是display Linux tasks，以前看到過一個另外的解釋display top CPU proc

Python程序,執行緒以及協程對比

執行緒：一份程式碼資源有多個箭頭同時執行 程序：拷貝多份程式碼資源中只存在一個箭頭(執行緒)來執行 協程 : 利用程式的阻塞或者暫停時間完成多工 即：資源分配的程式碼是程序，而執行程式碼的是執行緒， 可以理解為程序是工廠的一條流水線，其中執行緒就是流水線上的工人。 協程利用閒散時間加班的有志

檢視某個程序執行時間的幾種方法

1.首先查出某個程序的pid，然後使用ps命令 [[email protected] ~]# jps 2640 Jps 2339 DataNode 2239 NameNode [[email protected] ~]# ps -p 2239 -o etime ELAPSE

程序的狀態以及程序的優先順序

程序共有5種狀態，即：建立、就緒，執行，阻塞、終止 建立狀態：程序在建立時需要申請一個空白PCB，向其中填寫控制和管理程序的資訊，完成資源分配。如果建立工作無法完成，比如資源無法滿足，就無法被排程執行，把此時程序所處狀態稱為建立狀態 就緒狀態：程序已經準備好，已分配到所需資源，只要

在cmd中檢視顯示卡執行狀態

在自己的 C:\Program Files\NVIDIA Corporation\NVSMI 中的路徑新增到環境變數 path 中，直接在cmd中輸入 nvidia-smi 即可檢視顯示卡的執行狀態，在windows平臺下直接通過監視器也可以檢視顯示卡執行狀態，尤其是win1

每2秒鐘重新整理檢視MySQL程序proceslist狀態

我們經常用到show processlist來觀察MySQL的狀態，在觀察某個操作帶來的任何風險時候，需要頻繁重新整理，我寫了個指令碼來每2秒重新整理檢視process程序 中狀態 # cat processlist.sh #!/bin/bash # #author:bohai #a

linux -檢視當前服務執行狀態

#service servicename status是當前狀態#chkconfig --list servicename是檢視啟動狀態，也就是是否開機自動啟動 如果service和chkconfig 找不到，可以試試/sbin/service和/sbin/chkconfig 如果用ubuntu好像是要用/e

Linux程序執行狀態圖

程序是一個動態的實體，所以他是有生命的。從建立到消亡，是一個程序的整個生命週期。在這個週期中，程序可能會經歷各種不同的狀態。一般來說，所有程序都要經歷以下的3個狀態： 就緒態。指程序已經獲得所有所需的其他資源，正在申請處理處理器資源，準備開始執行。這種情況下，稱程序處於就緒態。阻塞態。指程序因為需要等待所需

linux小記 -檢視當前服務執行狀態

#service servicename status是當前狀態#chkconfig --list servicename是檢視啟動狀態，也就是是否開機自動啟動如果service和chkconfig 找不到，可以試試/sbin/service和/sbin/chkconfig如果用ubuntu好像是要用/etc

spark-2.2.0 叢集安裝部署以及hadoop叢集部署

Spark在生產環境中，主要部署在安裝Linux系統的叢集中。在linux系統中安裝Spark需要預先安裝JDK、Scala等所需要的依賴。 由於Spark是計算框架，所以需要預先在叢集內有搭建好儲存資料的持久化層，如HDFS、Hive、Cassandra等，最後可以通過啟動指令碼執行應用。

java中程序和執行緒以及執行緒的狀態和方法

程序是cpu資源分配的最小單位，執行緒是cpu排程的最小單位。 一個程式至少有一個程序,一個程序至少有一個執行緒.  執行緒的劃分尺度小於程序，使得多執行緒程式的併發性高。 另外，程序在執行過程中擁有獨立的記憶體單元，而多個執行緒共享記憶體，從而極大地提高了程式的執行效率。

如何使用yarn介面檢視spark job執行的情況

如下圖所示，是一個spark任務的第一個Job，job0的執行情況。 job1的執行情況如下： 可以看到job0，job1的input不一樣，shuffle read，shuffle write的大小也不一樣，但是每個job的shuffle read是和shuffl

Centos6.8 安裝spark-2.3.1 以及 scala-2.12.2

一、Spark概述    Spark 是一個用來實現快速而通用的叢集計算的平臺。     在速度方面，Spark 擴充套件了廣泛使用的 MapReduce 計算模型，而且高效地支援更多計算模式，包括互動式查詢和流處理。 在處理大

spark學習-執行spark on yarn 例子和檢視日誌.

要通過web頁面檢視執行日誌,需要啟動兩個東西 hadoop啟動jobhistoryserver和spark的history-server. 相關配置檔案: etc/hadoop/mapred-site.xml <!--配置jobh

安裝 IDEA、安裝 Scala 外掛以及匯入 Spark 原始碼

IDEA 全稱 IntelliJ IDEA，是 java 語言開發的整合環境（IDE），IntelliJ 在業界被公認為最好的 java 開發工具之一，尤其在智慧程式碼助手、程式碼自動提示、重構、J2EE 支援、Ant、JUnit、CVS整合、程式碼審查、 創新

CDH安裝配置zeppelin-0.7.3以及配置spark查詢hive表

1.下載zeppelin http://zeppelin.apache.org/download.html  我下載的是796MB的那個已經編譯好的，如果需要自己按照環境編譯也可以，但是要很長時間編譯，這個版本包含了很多外掛，我雖然是CDH環境但是這個也可以使用。 2.修改

Linux 檢視程序以及子程序/執行緒

1、 檢視程序資訊 # ps  -ef | grep 114 root       114     2  0 Jun23 ?        00:00:00 [kswapd1] 2、檢視程序的子程序/執行緒 # pstree -p 5346 或者# ps m

Spark on yarn Intellij ide 安裝，編譯，打包，叢集執行 詳解

說明：已經安裝好hadoop2.2.0 完全分佈，scala，spark已安裝好，環境配置完畢；主機為hadoop-master，hadoop-slave 一.intellij 安裝（centos6.5系統） 步驟一。 1.將上述兩個安裝

Spark執行狀態的監控

強力推薦，相見恨晚的文件，建議先看 關於Spark監控，推薦一個講的非常好的PPT：monitoring-spark-applications，簡練、全面的講解了Spark監控的必要性、方法、缺點及改進方法。 下面是我自己的一些總結 Spark