1. 程式人生 > >1-hadoop基礎配置

1-hadoop基礎配置

redhat修改啟動模式:
以root使用者修改檔案 /etc/inittab,編輯這一行
id:5:initdefault,將5改為3.
命令列模式比圖形模式節省資源。


ls -alh
h表示更人性化的顯示檔案列表


echo 控制檯輸出:
  echo helloworld >> a.txt,追加到檔案末尾
  echo hellworrld >  a.txt, 覆蓋原始檔內容
nano ubuntu內建編輯器
uname 作業系統資訊
tar -xvzf 解壓檔案
gzip    壓縮檔案
    gzip  aa.txt (newFile)  
gunzip  解壓檔案
    gunzip aa.txt.gz (newFile)
sudo 臨時授root使用者的許可權,不用切換到root使用者(經常用在一些需要系統root許可權才能進行的操作)
    
mount掛載
  檢視外部檔案,如CD等
  先新增iso檔案,並連線後,檢視裝置位於/dev/cdrom、或者cdrom1下
  在/mnt下建立掛載的目錄,用於檢視iso檔案內容
  sudo mkdir cdrom11
  掛載 sudo monut /dev/cdrom  /mnt/cdrom11
  訪問檔案 cd /mnt/cdrom11
umount 解除安裝掛載點
  sudo umount /mnt/cdrom11
ps 檢視程序資訊
  ps -af  以一定格式顯示全部程序資訊


Linux目錄作用:
/bin 必要的使用者命令(二進位制檔案)
/sbin 必要的系統管理員命令
/boot 引導載入程式所使用的靜態檔案 
/dev 裝置檔案和其他特殊檔案
/etc 系統配置檔案,包括啟動檔案
    /etc/rc.d 啟動的配置檔案和指令碼
/home 使用者主目錄,比如使用者user的主目錄就是/home/user,可以用~user表示
/lib 必要的程式庫(例如c程式庫)以及核心模組
/media 掛載點,用於可移除媒體
/mnt 掛載點,用於暫時掛載的檔案系統
/opt 附加的軟體套件
/proc 用於提供核心與程序資訊的虛擬檔案系統
/root root使用者的主目錄
/sys 系統資訊與控制(匯流排、裝置以及驅動程式)的虛擬檔案系統
/tmp 暫時性的檔案 
/usr 在第二層包含了對大多數使用者游泳的大量應用程式和檔案,包括X伺服器
/var 用於存放監控程式和工具程式的可變的資料
/opt  主機額外安裝軟體所擺放的目錄。預設是空的。類似windows的program files,一般安裝軟體的時候,
      可以自己指定安裝到這個目錄下,便於查詢和管理
  
檔案許可權:
-r-xr--r--. 1 wpy wpy    0 May 17 03:39 a.txt
drwxrw-rw-. 2 wpy wpy 4096 May 17 03:40 bb


檔案許可權分為三部分:
  擁有者+使用者所在的組+其他人
  user(u)+group(g)+other(o)
 
 更改檔案許可權:
  方式一:字母方式
    chmod u+w  a.txt 給擁有者加上寫許可權
    chmod uo+wx a.txt 給擁有者和其他人加上寫許可權和執行許可權
    chmod a(=ugo)+w a.txt 給所有人加上寫許可權
  方式二:數字方式
    u    g    o
   r-x  r-x  r-x
   101  101  101
    5    5    5
   chmod 555 a.txt
   =chmod a+rx a.txt
 對於資料夾來說,執行許可權x就是能否進入資料夾。








=================忽略================================
redhat安裝apt軟體包
  debian系統則基於apt(Advanced Packaging Tool)工具進行軟體包管理,比如ubuntu版本的linux,而redhat本身是用RPM軟體包管理系統。
  apt高階打包工具;可以線上安裝一些軟體。


配置apt軟體源:
 更改/etc/apt/sourcelist檔案,這裡重新配置軟體源,原有的軟體源由於在國外,訪問不了,改為國內的軟體源。
 下載redhat6.2的apt安裝包apt-0.5.4cnc7-fr0.62.1.i386.rpm,
   參考http://blog.csdn.net/chogao/article/details/7755468
  環衛root使用者,強制安裝apt:
    rpm -ivh apt-0.5.4cnc7-fr0.62.1.i386.rpm --nodeps --force
  在http://wiki.ubuntu.org.cn/Template:12.10source網站中copy源列表網站 更新到 /etc/apt/source.list配置檔案中去(備份一下原始檔)。
 以網易163的為例:
deb http://mirrors.163.com/ubuntu/ quantal main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-security main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-updates main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-proposed main restricted universe multiverse
deb http://mirrors.163.com/ubuntu/ quantal-backports main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-security main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-updates main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-proposed main restricted universe multiverse
deb-src http://mirrors.163.com/ubuntu/ quantal-backports main restricted universe multiverse


echo '' > source.list清空檔案,黏貼內容。


切換回當前使用者,軟體源修改了,做一下更新和升級操作
apt-get update
apt-get upgrade


update過程中會出錯,
修復/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory問題 
1、在64系統裡執行32位程式如果出現/lib/ld-linux.so.2: bad ELF interpreter: No such file or directory,
root使用者安裝下glic即可,下載網址 http://ftp.ntu.edu.tw/gnu/glibc/


需要glic2.2以上版本,否則會出現libstdc++-libc6.1-1.so.2 找不到的問題
apt-cache: error while loading shared libraries: libstdc++-libc6.1-1.so.2: cannot open shared object file:
No such file or directory


rpm -ivh --nodeps glibc-2.12-1.80.el6.i686.rpm


===========================================================


 共享資料夾設定
 1.先用一個使用者登入系統,在VM上,虛擬機器->重新安裝,找到計算機-->CD-->VMwareTools-10.0.5-3228253.tar.gz,copy到桌面後
  右鍵解壓(在wpy'home資料夾中)
 2.切換root使用者,執行檔案 ./vmware-install.pl,不斷回車就可以,直到完成。
 3.關機後,編輯虛擬機器設定--》選項--》共享資料夾,進行設定。
 4.重啟後,在/mnt/hgfs/linux_down掛載點下就可以訪問共享的檔案了。


 安裝jdk
 1. copy安裝檔案到~/down目錄下後,安裝jdk.rpm檔案,預設安裝到/usr/java目錄下,可以自己建目錄,移動至新目錄
 /usr/wpysoft/java


 2. 最好在/etc/environment檔案中配置環境變數
 JAVA_HOME=/usr/wpysoft/java
 PATH="/usr/local/sb:/usr/local/bin:/usr/bin:/sbin:/bin:/usr/games:/usr/wpysoft/java/bin"
 
   注意: PATH變數中的這段:/usr/local/sb:/usr/local/bin:/usr/bin:/sbin:/bin:/usr/games
         不新增這段就會出問題:系統無法登陸,具體參考 http://www.2cto.com/os/201305/214661.html
 3. source environment使得文件立即生效
    列印環境變數:echo $PATH
 
 安裝hadoop
  在apache官網下載軟體,選二進位制檔案,http://hadoop.apache.org/releases.html
  這裡下載的hadoop-2.7.1.tar.gz已經不區分window版本和Linux版本,都包括了。
  1. 和jdk類似,copy到~/down目錄下,解壓並移動至/usr/wpysoft目錄下
  2. 配置環境變數 
       hadoop安裝目錄:   HADOOP_INSTALL=/usr/wpysoft/hadoop-2.7.1
          注意不要使用 hadoop_home 名稱,hadoop本身會建立這個環境變數,以免混淆。
       hadoop的path目錄:PATH中追加bin和sbin兩個目錄:
           /usr/wpysoft/hadoop-2.7.1/bin:/usr/wpysoft/hadoop-2.7.1/sbin
  3. 配置後立刻生效source environment
     現在可以列印path和HADOOP_INSTALL
     java_home還未生效,重啟後,可以測試 hadoop version命令了。
  


解決sudo命令不起作用問題:
1.切換到root使用者下,怎麼切換就不用說了吧,不會的自己百度去.
2.新增sudo檔案的寫許可權,命令是:
    chmod u+w /etc/sudoers
3.編輯sudoers檔案
vi /etc/sudoers
找到這行 root ALL=(ALL) ALL,在他下面新增xxx ALL=(ALL) ALL (這裡的xxx是你的使用者名稱)


ps:這裡說下你可以sudoers新增下面四行中任意一條
youuser            ALL=(ALL)                ALL
%youuser           ALL=(ALL)                ALL
youuser            ALL=(ALL)                NOPASSWD: ALL
%youuser           ALL=(ALL)                NOPASSWD: ALL


第一行:允許使用者youuser執行sudo命令(需要輸入密碼).
第二行:允許使用者組youuser裡面的使用者執行sudo命令(需要輸入密碼).
第三行:允許使用者youuser執行sudo命令,並且在執行的時候不輸入密碼.
第四行:允許使用者組youuser裡面的使用者執行sudo命令,並且在執行的時候不輸入密碼.


4.撤銷sudoers檔案寫許可權,命令:
chmod u-w /etc/sudoers