1-hadoop基礎配置
阿新 • • 發佈:2019-01-24
redhat修改啟動模式:
以root使用者修改檔案 /etc/inittab,編輯這一行
id:5:initdefault,將5改為3.
命令列模式比圖形模式節省資源。
ls -alh
h表示更人性化的顯示檔案列表
echo 控制檯輸出:
echo helloworld >> a.txt,追加到檔案末尾
echo hellworrld > a.txt, 覆蓋原始檔內容
nano ubuntu內建編輯器
uname 作業系統資訊
tar -xvzf 解壓檔案
gzip 壓縮檔案
gzip aa.txt (newFile)
gunzip 解壓檔案
gunzip aa.txt.gz (newFile)
sudo 臨時授root使用者的許可權,不用切換到root使用者(經常用在一些需要系統root許可權才能進行的操作)
mount掛載
檢視外部檔案,如CD等
先新增iso檔案,並連線後,檢視裝置位於/dev/cdrom、或者cdrom1下
在/mnt下建立掛載的目錄,用於檢視iso檔案內容
sudo mkdir cdrom11
掛載 sudo monut /dev/cdrom /mnt/cdrom11
訪問檔案 cd /mnt/cdrom11
umount 解除安裝掛載點
sudo umount /mnt/cdrom11
ps 檢視程序資訊
ps -af 以一定格式顯示全部程序資訊
Linux目錄作用:
/bin 必要的使用者命令(二進位制檔案)
/sbin 必要的系統管理員命令
/boot 引導載入程式所使用的靜態檔案
/dev 裝置檔案和其他特殊檔案
/etc 系統配置檔案,包括啟動檔案
/etc/rc.d 啟動的配置檔案和指令碼
/home 使用者主目錄,比如使用者user的主目錄就是/home/user,可以用~user表示
/lib 必要的程式庫(例如c程式庫)以及核心模組
/media 掛載點,用於可移除媒體
/mnt 掛載點,用於暫時掛載的檔案系統
/opt 附加的軟體套件
/proc 用於提供核心與程序資訊的虛擬檔案系統
/root root使用者的主目錄
/sys 系統資訊與控制(匯流排、裝置以及驅動程式)的虛擬檔案系統
/tmp 暫時性的檔案
/usr 在第二層包含了對大多數使用者游泳的大量應用程式和檔案,包括X伺服器
/var 用於存放監控程式和工具程式的可變的資料
/opt 主機額外安裝軟體所擺放的目錄。預設是空的。類似windows的program files,一般安裝軟體的時候,
可以自己指定安裝到這個目錄下,便於查詢和管理
檔案許可權:
-r-xr--r--. 1 wpy wpy 0 May 17 03:39 a.txt
drwxrw-rw-. 2 wpy wpy 4096 May 17 03:40 bb
檔案許可權分為三部分:
擁有者+使用者所在的組+其他人
user(u)+group(g)+other(o)
更改檔案許可權:
方式一:字母方式
chmod u+w a.txt 給擁有者加上寫許可權
chmod uo+wx a.txt 給擁有者和其他人加上寫許可權和執行許可權
chmod a(=ugo)+w a.txt 給所有人加上寫許可權
方式二:數字方式
u g o
r-x r-x r-x
101 101 101
5 5 5
chmod 555 a.txt
=chmod a+rx a.txt
對於資料夾來說,執行許可權x就是能否進入資料夾。
=================忽略================================
redhat安裝apt軟體包
debian系統則基於apt(Advanced Packaging Tool)工具進行軟體包管理,比如ubuntu版本的linux,而redhat本身是用RPM軟體包管理系統。
apt高階打包工具;可以線上安裝一些軟體。
配置apt軟體源:
更改/etc/apt/sourcelist檔案,這裡重新配置軟體源,原有的軟體源由於在國外,訪問不了,改為國內的軟體源。
下載redhat6.2的apt安裝包apt-0.5.4cnc7-fr0.62.1.i386.rpm,
參考http://blog.csdn.net/chogao/article/details/7755468
環衛root使用者,強制安裝apt:
rpm -ivh apt-0.5.4cnc7-fr0.62.1.i386.rpm --nodeps --force
在http://wiki.ubuntu.org.cn/Template:12.10source網站中copy源列表網站 更新到 /etc/apt/source.list配置檔案中去(備份一下原始檔)。
以網易163的為例:
deb http://mirrors.163.com/ubuntu/ quantal main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-proposed main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-backports main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-proposed main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-backports main restricted universe multiverse
echo '' > source.list清空檔案,黏貼內容。
切換回當前使用者,軟體源修改了,做一下更新和升級操作
apt-get update
apt-get upgrade
update過程中會出錯,
修復/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory問題
1、在64系統裡執行32位程式如果出現/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory,
root使用者安裝下glic即可,下載網址 http://ftp.ntu.edu.tw/gnu/glibc/
需要glic2.2以上版本,否則會出現libstdc++-libc6.1-1.so.2 找不到的問題
apt-cache: error while loading shared libraries: libstdc++-libc6.1-1.so.2: cannot open shared object file:
No such file or directory
rpm -ivh --nodeps glibc-2.12-1.80.el6.i686.rpm
===========================================================
共享資料夾設定
1.先用一個使用者登入系統,在VM上,虛擬機器->重新安裝,找到計算機-->CD-->VMwareTools-10.0.5-3228253.tar.gz,copy到桌面後
右鍵解壓(在wpy'home資料夾中)
2.切換root使用者,執行檔案 ./vmware-install.pl,不斷回車就可以,直到完成。
3.關機後,編輯虛擬機器設定--》選項--》共享資料夾,進行設定。
4.重啟後,在/mnt/hgfs/linux_down掛載點下就可以訪問共享的檔案了。
安裝jdk
1. copy安裝檔案到~/down目錄下後,安裝jdk.rpm檔案,預設安裝到/usr/java目錄下,可以自己建目錄,移動至新目錄
/usr/wpysoft/java
2. 最好在/etc/environment檔案中配置環境變數
JAVA_HOME=/usr/wpysoft/java
PATH="/usr/local/sb:/usr/local/bin:/usr/bin:/sbin:/bin:/usr/games:/usr/wpysoft/java/bin"
注意: PATH變數中的這段:/usr/local/sb:/usr/local/bin:/usr/bin:/sbin:/bin:/usr/games
不新增這段就會出問題:系統無法登陸,具體參考 http://www.2cto.com/os/201305/214661.html
3. source environment使得文件立即生效
列印環境變數:echo $PATH
安裝hadoop
在apache官網下載軟體,選二進位制檔案,http://hadoop.apache.org/releases.html
這裡下載的hadoop-2.7.1.tar.gz已經不區分window版本和Linux版本,都包括了。
1. 和jdk類似,copy到~/down目錄下,解壓並移動至/usr/wpysoft目錄下
2. 配置環境變數
hadoop安裝目錄: HADOOP_INSTALL=/usr/wpysoft/hadoop-2.7.1
注意不要使用 hadoop_home 名稱,hadoop本身會建立這個環境變數,以免混淆。
hadoop的path目錄:PATH中追加bin和sbin兩個目錄:
/usr/wpysoft/hadoop-2.7.1/bin:/usr/wpysoft/hadoop-2.7.1/sbin
3. 配置後立刻生效source environment
現在可以列印path和HADOOP_INSTALL
java_home還未生效,重啟後,可以測試 hadoop version命令了。
解決sudo命令不起作用問題:
1.切換到root使用者下,怎麼切換就不用說了吧,不會的自己百度去.
2.新增sudo檔案的寫許可權,命令是:
chmod u+w /etc/sudoers
3.編輯sudoers檔案
vi /etc/sudoers
找到這行 root ALL=(ALL) ALL,在他下面新增xxx ALL=(ALL) ALL (這裡的xxx是你的使用者名稱)
ps:這裡說下你可以sudoers新增下面四行中任意一條
youuser ALL=(ALL) ALL
%youuser ALL=(ALL) ALL
youuser ALL=(ALL) NOPASSWD: ALL
%youuser ALL=(ALL) NOPASSWD: ALL
第一行:允許使用者youuser執行sudo命令(需要輸入密碼).
第二行:允許使用者組youuser裡面的使用者執行sudo命令(需要輸入密碼).
第三行:允許使用者youuser執行sudo命令,並且在執行的時候不輸入密碼.
第四行:允許使用者組youuser裡面的使用者執行sudo命令,並且在執行的時候不輸入密碼.
4.撤銷sudoers檔案寫許可權,命令:
chmod u-w /etc/sudoers
以root使用者修改檔案 /etc/inittab,編輯這一行
id:5:initdefault,將5改為3.
命令列模式比圖形模式節省資源。
ls -alh
h表示更人性化的顯示檔案列表
echo 控制檯輸出:
echo helloworld >> a.txt,追加到檔案末尾
echo hellworrld > a.txt, 覆蓋原始檔內容
nano ubuntu內建編輯器
uname 作業系統資訊
tar -xvzf 解壓檔案
gzip 壓縮檔案
gzip aa.txt (newFile)
gunzip 解壓檔案
gunzip aa.txt.gz (newFile)
sudo 臨時授root使用者的許可權,不用切換到root使用者(經常用在一些需要系統root許可權才能進行的操作)
mount掛載
檢視外部檔案,如CD等
先新增iso檔案,並連線後,檢視裝置位於/dev/cdrom、或者cdrom1下
在/mnt下建立掛載的目錄,用於檢視iso檔案內容
sudo mkdir cdrom11
掛載 sudo monut /dev/cdrom /mnt/cdrom11
訪問檔案 cd /mnt/cdrom11
umount 解除安裝掛載點
sudo umount /mnt/cdrom11
ps 檢視程序資訊
ps -af 以一定格式顯示全部程序資訊
Linux目錄作用:
/bin 必要的使用者命令(二進位制檔案)
/sbin 必要的系統管理員命令
/boot 引導載入程式所使用的靜態檔案
/dev 裝置檔案和其他特殊檔案
/etc 系統配置檔案,包括啟動檔案
/etc/rc.d 啟動的配置檔案和指令碼
/home 使用者主目錄,比如使用者user的主目錄就是/home/user,可以用~user表示
/lib 必要的程式庫(例如c程式庫)以及核心模組
/media 掛載點,用於可移除媒體
/mnt 掛載點,用於暫時掛載的檔案系統
/opt 附加的軟體套件
/proc 用於提供核心與程序資訊的虛擬檔案系統
/root root使用者的主目錄
/sys 系統資訊與控制(匯流排、裝置以及驅動程式)的虛擬檔案系統
/tmp 暫時性的檔案
/usr 在第二層包含了對大多數使用者游泳的大量應用程式和檔案,包括X伺服器
/var 用於存放監控程式和工具程式的可變的資料
/opt 主機額外安裝軟體所擺放的目錄。預設是空的。類似windows的program files,一般安裝軟體的時候,
可以自己指定安裝到這個目錄下,便於查詢和管理
檔案許可權:
-r-xr--r--. 1 wpy wpy 0 May 17 03:39 a.txt
drwxrw-rw-. 2 wpy wpy 4096 May 17 03:40 bb
檔案許可權分為三部分:
擁有者+使用者所在的組+其他人
user(u)+group(g)+other(o)
更改檔案許可權:
方式一:字母方式
chmod u+w a.txt 給擁有者加上寫許可權
chmod uo+wx a.txt 給擁有者和其他人加上寫許可權和執行許可權
chmod a(=ugo)+w a.txt 給所有人加上寫許可權
方式二:數字方式
u g o
r-x r-x r-x
101 101 101
5 5 5
chmod 555 a.txt
=chmod a+rx a.txt
對於資料夾來說,執行許可權x就是能否進入資料夾。
=================忽略================================
redhat安裝apt軟體包
debian系統則基於apt(Advanced Packaging Tool)工具進行軟體包管理,比如ubuntu版本的linux,而redhat本身是用RPM軟體包管理系統。
apt高階打包工具;可以線上安裝一些軟體。
配置apt軟體源:
更改/etc/apt/sourcelist檔案,這裡重新配置軟體源,原有的軟體源由於在國外,訪問不了,改為國內的軟體源。
下載redhat6.2的apt安裝包apt-0.5.4cnc7-fr0.62.1.i386.rpm,
參考http://blog.csdn.net/chogao/article/details/7755468
環衛root使用者,強制安裝apt:
rpm -ivh apt-0.5.4cnc7-fr0.62.1.i386.rpm --nodeps --force
在http://wiki.ubuntu.org.cn/Template:12.10source網站中copy源列表網站 更新到 /etc/apt/source.list配置檔案中去(備份一下原始檔)。
以網易163的為例:
deb http://mirrors.163.com/ubuntu/ quantal main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-proposed main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-backports main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-proposed main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-backports main restricted universe multiverse
echo '' > source.list清空檔案,黏貼內容。
切換回當前使用者,軟體源修改了,做一下更新和升級操作
apt-get update
apt-get upgrade
update過程中會出錯,
修復/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory問題
1、在64系統裡執行32位程式如果出現/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory,
root使用者安裝下glic即可,下載網址 http://ftp.ntu.edu.tw/gnu/glibc/
需要glic2.2以上版本,否則會出現libstdc++-libc6.1-1.so.2 找不到的問題
apt-cache: error while loading shared libraries: libstdc++-libc6.1-1.so.2: cannot open shared object file:
No such file or directory
rpm -ivh --nodeps glibc-2.12-1.80.el6.i686.rpm
===========================================================
共享資料夾設定
1.先用一個使用者登入系統,在VM上,虛擬機器->重新安裝,找到計算機-->CD-->VMwareTools-10.0.5-3228253.tar.gz,copy到桌面後
右鍵解壓(在wpy'home資料夾中)
2.切換root使用者,執行檔案 ./vmware-install.pl,不斷回車就可以,直到完成。
3.關機後,編輯虛擬機器設定--》選項--》共享資料夾,進行設定。
4.重啟後,在/mnt/hgfs/linux_down掛載點下就可以訪問共享的檔案了。
安裝jdk
1. copy安裝檔案到~/down目錄下後,安裝jdk.rpm檔案,預設安裝到/usr/java目錄下,可以自己建目錄,移動至新目錄
/usr/wpysoft/java
2. 最好在/etc/environment檔案中配置環境變數
JAVA_HOME=/usr/wpysoft/java
PATH="/usr/local/sb:/usr/local/bin:/usr/bin:/sbin:/bin:/usr/games:/usr/wpysoft/java/bin"
注意: PATH變數中的這段:/usr/local/sb:/usr/local/bin:/usr/bin:/sbin:/bin:/usr/games
不新增這段就會出問題:系統無法登陸,具體參考 http://www.2cto.com/os/201305/214661.html
3. source environment使得文件立即生效
列印環境變數:echo $PATH
安裝hadoop
在apache官網下載軟體,選二進位制檔案,http://hadoop.apache.org/releases.html
這裡下載的hadoop-2.7.1.tar.gz已經不區分window版本和Linux版本,都包括了。
1. 和jdk類似,copy到~/down目錄下,解壓並移動至/usr/wpysoft目錄下
2. 配置環境變數
hadoop安裝目錄: HADOOP_INSTALL=/usr/wpysoft/hadoop-2.7.1
注意不要使用 hadoop_home 名稱,hadoop本身會建立這個環境變數,以免混淆。
hadoop的path目錄:PATH中追加bin和sbin兩個目錄:
/usr/wpysoft/hadoop-2.7.1/bin:/usr/wpysoft/hadoop-2.7.1/sbin
3. 配置後立刻生效source environment
現在可以列印path和HADOOP_INSTALL
java_home還未生效,重啟後,可以測試 hadoop version命令了。
解決sudo命令不起作用問題:
1.切換到root使用者下,怎麼切換就不用說了吧,不會的自己百度去.
2.新增sudo檔案的寫許可權,命令是:
chmod u+w /etc/sudoers
3.編輯sudoers檔案
vi /etc/sudoers
找到這行 root ALL=(ALL) ALL,在他下面新增xxx ALL=(ALL) ALL (這裡的xxx是你的使用者名稱)
ps:這裡說下你可以sudoers新增下面四行中任意一條
youuser ALL=(ALL) ALL
%youuser ALL=(ALL) ALL
youuser ALL=(ALL) NOPASSWD: ALL
%youuser ALL=(ALL) NOPASSWD: ALL
第一行:允許使用者youuser執行sudo命令(需要輸入密碼).
第二行:允許使用者組youuser裡面的使用者執行sudo命令(需要輸入密碼).
第三行:允許使用者youuser執行sudo命令,並且在執行的時候不輸入密碼.
第四行:允許使用者組youuser裡面的使用者執行sudo命令,並且在執行的時候不輸入密碼.
4.撤銷sudoers檔案寫許可權,命令:
chmod u-w /etc/sudoers