internet初步【在linux中連線cluster, 配置並遠端啟動jupyter notebook】
This is the first week of my exchange study in Switzerland. The courses here are not as easy as I originally imagined. Now it's 9.30pm in Swiss local time. I keep sitting in the learning center, browsing the homework assignment this week, planing how to spend my weekend.
I take an Internet course here. Through this course I learn how to connect to the remote cluster, and how to configure jupyter notebook on the cluster
to be able to use it remotely.
following by Chinese :)
首先在linux系統中有專門的commond連線網站伺服器,那就是ssh命令,加密協議實現遠端登入(但是看資料好像並不安全,比如中間人攻擊?)
一般是 ssh -l username website
連線了遠端cluster之後,如果想傳遞檔案,當然就是scp命令(secure copy的縮寫?)
scp [引數] [原路徑] [目標路徑]
不必多表
然後若cluster上安裝有Anaconda(包含python,jupyter notebook等各種包及依賴關係),那麼理論上說就可以遠端的啟動一個jupyter notebook server, 然後在本地就可以通過網站訪問遠端的jupyter notebook. 這樣便省去了自己在本地配置各種工具包各種依賴關係?(或許吧)
反正需要配置一下環境,在cluster設定一下環境變數,然後新建立一個jupyter的配置檔案(設定使用者名稱密碼啥的,之後就可以起一個jupyter notebook server,然後本地通過網站訪問)
之後每一次都只需要先連線cluster,然後在cluster上run一個pyspark,它自動就啟動了一個jupyter notebook server 之後就可以通過本地網站訪問了
值得一提的是jupyter notebook真的好用,可以直接在block裡執行python,正好最近我也要好好學一下python!
以上一些初級階段的理解,以備期末複習:)
相關推薦
internet初步【在linux中連線cluster, 配置並遠端啟動jupyter notebook】
This is the first week of my exchange study in Switzerland. The courses here are not as easy as I or
Linux中安裝ActiveMQ 配置開機自啟動教程
一、安裝ActiveMQ 1.解壓activemq壓縮包,重新命名資料夾 # cd /usr/local # tar -zxvf apache-activemq-5.11.1-bin.tar.gz # mv apache-activemq-5.11
linux中安裝和配置 jdk
jdk1 png images 下載 配置環境變量 ftp 當前 bsp 官網 01.去官網下載指定的jdk 02.使用xftp把下載好的文件 傳遞到 linux指定文件夾中03.進入指定的文件夾輸入tar -zxvf 文件名稱04.發現文件 05.進入文件c
centOS 下 Linux 中的 JDK 配置
編輯 linux ont 測試 成功 proc 配置文件 water sha 一、下載jdk 放在 /usr/local/src/jdk下解壓 命令:解壓後:二、用 vim 進行編輯 如果是最小安裝的Linux需要安裝 vim 命令(yum install vim*)
linux中使用yum配置linux環境
Linux配置java環境1.查找java相關得列表[root@localhost ~]$ yum -y list java*2.安裝有關的 yum install java-1.6.0-openjdk*註意一定要講 /dev/cdrom 掛載到/mnt/cdrom下(這裏我在 /etc/yum.rep
linux中磁盤配置
磁盤分區實驗:遷移/home分區 需求: 1.在虛擬機中添加一塊20GB 的SCSI 磁盤2.在新硬盤中建立一個10GB 的分區,存放所有普通用戶的宿主文件夾3.新建的分區仍然掛載到/home 目錄下,導入系統中原有用戶的數據4.服務器在次開機自動掛載該分區環境:vmware workstation 14
linux中mycat的配置,分片,以及主從復制
chan 命令 star ice limit 第一步 execute ado master 1.1 安裝環境 1、jdk:要求jdk必須是1.7及以上版本 2、Mysql:推薦mysql是5.5以上版本 1.2 安裝步驟 Mycat有windows、linux多種版
Linux中JDK安裝配置
1、檢視當前Linux系統是否已經安裝java 命令:rpm -qa | grep java 2、如果有,解除安裝 命令:rpm -e --nodeps 要解除安裝的軟體 3、下載jdk,需要linux版本的jdk,上傳到linux伺服器 下載jdk路徑:https:
Linux登陸型別-Linux中如何臨時配置IP
Linux登入: 本地登入,直接在Linux主機上接上鍵盤顯示器,然後輸入使用者名稱密碼登入 遠端登入,通過網路進行登入(需要IP 賬戶名 密碼) windows中遠端登入軟體有 xshell、putty、securecrt Linux的IP地址配置: (1)臨時生
在linux中安裝ssh軟體進行遠端連線
一、設定允許linux遠端連線(軟體ssh預設沒有安裝) 1、安裝ssh軟體 a、執行sudo apt install ssh 使用管理員執行安裝 b、啟動ssh服務 sudo service ssh start c、檢查ssh的狀態 sudo service sshd stat
Manjaro-linux 中科大 源配置
Manjaro 系統雖然比 Ubuntu 用著穩定,但有些小地方沒有 Ubuntu 人性化,比如預設安裝完的系統貌似沒有中國的,Ubuntu 估計是用的人多,所以安裝完後會根據所在地給你配置更新的源。 下面是網上抄來的新增中科大源的方法: #先排列源 sudo pacman-mirror
Linux中的網路配置(nmcli、Team)
目錄 網絡卡的配置 網絡卡的配置 網絡卡命名的不同: Rhel6 及其之前命名都是以 eth 開頭,第一塊網絡卡就叫 eth0 ,第二塊網絡卡就叫 eth1 Rhel7 開始命名規則變了,eno1代表由主機板BIOS內建的網絡卡 ;ens1代表由主機板B
linux中mariadb主從配置
1、首先server和slave端都需要安裝mariadb,後在server端配置 /etc/my.cnf.d/server.cnf檔案操作如下圖: 2.配置成功後重啟資料庫 3、建立一個使用者供slave登入同步mater資料庫資訊 4、給剛建立的s
Linux中的網路配置
###linux下的網路配置### ###1.什麼是IP address### internet protocol addresss ## 網路協議地址 ipv4 internet protocol 4 1.2x32 11111110.11111110.1
linux中Tomcat安裝配置
安裝Tomcat 使用xftp5檔案傳輸工具,將tomcat.tar.gz壓縮包傳輸到linux主機的/opt/目錄下 使用xshell5遠端連線到linux主機上,進入"/etc"目錄下,解壓tomcat.rat.gz檔案 cd /opt ll tar -zxv
linux中的目錄配置
一.許可權對檔案的重要性 1.r(read):可讀取此檔案的實際內容,讀取文字檔案的文字內容等。 2.w(write):可以編輯,新增或者是修改該檔案的內容。 3.x(execute):該檔案具有可以被系統執行的許可權。 **在linux中,一個檔案是否能被執行是由是否具有“x”這個許可權來決定的,與
Linux中UFW防火牆配置
在管理伺服器時,必須配置以增加其安全性的第一件事是配置防火牆,幸運的是在Linux中包含一個名為Iptables的預設設定,但是這個防火牆很多人認為配置和管理有點複雜。 有更簡單的替代品可供使用,例如UFW。 UFW實際上是包含Linux的Iptables防火牆的CLI或命令列介面,該介面為我們提供了一種更
Linux中Nginx的配置檔案nginx.conf詳解
原文地址:https://blog.csdn.net/GP_666/article/details/79971198user www www; #制定nginx 執行的使用者名稱和使用者組 worker_processes 4; #nginx 程序數 建議設定
Linux中的Samba配置流程
一、什麼是Samba? Samba是一組軟體包,使Linux支援SMB協議,是一套讓Linux系統能夠應用Microsoft網路通訊協議的軟體。它使執行Linux系統的機器能與執行Windows系統的計算機進行檔案與印表機共享. 二、Samba的
【linux中軟RAID製作方法】
linux中軟RAID製作方法 【作業系統版本:】紅帽6.3 提示:在linux中磁碟裝置可以在/dev/目錄中找到 其中IDE介面的硬碟在該目錄中以hd的檔名開頭 SATA介面的硬碟在該目錄中以sd的檔名開頭