1. 程式人生 > >大資料day01 軟體安裝開發基礎

大資料day01 軟體安裝開發基礎

一、基礎部分課程介紹

 day01

  • Linux快速上手
  • 虛擬機器安裝及網路配置
  • 終端連線/ssh免密登陸
  • 檔案、許可權、使用者、工具、軟體安裝
  • yum本地庫搭建
  • 防火牆配置詳解

day02

  • Shell指令碼程式設計
  • Crontab
  • 高併發網站技術架構簡潔
  • Nginx負載均衡搭建
  • Keepalived高可用搭建
  • 自動化軟體安裝指令碼
  • Redis叢集搭建(備選)

day03

  • ZooKeeper介紹
  • ZooKeeper安裝
  • ZooKeeper基本API
  • ZooKeeper程式設計案例

day04

  • 併發程式設計
  • 反射、動態代理
  • NIO入門
  • Netty入門
  • day05
  • Netty封裝RPC框架
  • Dubbo
  • Hadoop RPC
  • JVM

二、Linux系統安裝過程

首先,下載並安裝VMware Workstation,安裝和破解步驟這裡就不贅述了,不會的自己百度啦。

檢查是否安裝成功:開啟“網路和共享中心”,點選左側“更改介面卡設定”,檢視是不是有VMnet1和VMnet8,如果存在,說明安裝成功了,它們是VMware生成的兩個虛擬網絡卡。這裡還有一點需要注意,檢視VMnet1和VMnet8下面顯示什麼,如果顯示不識別的網路,那麼這裡就需要處理下,否則後面會遇到問題。

首先進入登錄檔,找到[HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Class\{4D36E972-E325-11CE-BFC1-08002BE10318}],逐項檢視其下的[項](0000,0001至00xx),看右邊哪一項的[值]為:"DriverDesc"="VMware Virtual Ethernet Adapter for VMnet1",找到後,新增一個“DWORD”值(32位),名稱為“*NdisDeviceType”(*號是必須的),資料值改為“1”,同理再找 VMnet8 ,再重複第2~3步,新增值,之後重啟計算機,就可以看到VMnet1和VMnet8是啟用狀態了。

在安裝過程中,可能會遇到一個錯誤,提示需要通過BIOS開啟CPU虛擬化,因為不同品牌電腦主機板不同,導致操作方式不同,而且具體操作步驟也很簡單,自行百度解決。

如果遇到了虛擬網絡卡安裝失敗的現象,此時需要關閉Windows的驅動程式安裝簽名驗證,這裡我沒有遇到這個問題。

新建虛擬機器,需要注意的問題:

  1. 虛擬機器的存放路徑避免中文和空格,防止出現意外錯誤。

  2. 網路型別選擇NAT(預設就是NAT)。

  3. 選擇硬碟這裡選“建立新虛擬硬碟”,意思就是說從硬碟上分出來一塊磁碟空間給它做虛擬硬碟。

  4. 指定磁碟容量,不要勾選“立即分配所有磁碟空間”,一旦勾選,那麼建立後,物理磁碟就會立刻減少,不必這麼做,下面選擇“將虛擬磁碟儲存為單個檔案”,因為儲存為多個檔案會降低大容量磁碟的效能,而且虛擬機器一旦建立後,通常不會頻繁的移動虛擬機器。

  5. 虛擬機器建立完成後,進入“虛擬機器設定”,更改CD/DVD(IDE)的值,設定為Linux映象的地址。

開啟虛擬機器,安裝Linux作業系統。這裡選擇第一個“安裝或更新一個已存在的系統”。

這裡問你是否進行media測試,這裡選擇跳過即可。

之後,就看到操作介面了,也有滑鼠了,根據個人需要進行簡單設定,多數情況預設即可,在這裡簡單囉嗦兩句。因為這塊硬碟是虛擬出來的,所以直接格式化就可以,不會對電腦硬碟上的資料造成影響。

之後設定一個主機名,這裡我設定成bigdata,後面進了系統還可以修改。這裡選第一個,“使用所有空間”。

下面“檢視並修改分割槽佈局”,可以檢視分割槽的情況,可以根據需要重新分割槽。下一步,選擇“將修改寫入磁碟”,開始Linux系統的安裝。

三、Linux圖形介面及檔案系統結構介紹

Linux作業系統不像Windows作業系統一樣區分CDEF盤,所有的東西都掛載到根目錄下。下面來認識下根目錄下的資料夾。

bin:可執行程式
boot:和系統啟動相關的程式
dev:device的意思,表示裝置
etc:用來存放配置檔案的目錄
home:使用者目錄,類似Windows下的“我的文件”
lib、lib64:庫,標頭檔案等
media:外接媒體檔案,掛載光碟,usb等
usr:用於存放系統應用程式
sbin:存放的是系統管理員使用的管理程式
tmp:臨時目錄

四、區域網工作機制和網路地址配置

一臺區域網中的電腦要想聯網,多臺裝置就要連線路由器,路由器相當於一個閘道器,給這些裝置分配ip地址,閘道器地址通常為192.168.*.1,其下的裝置被分配到的ip地址為192.168.*.*,前三位一致,最後一位值域是2-254,其中255是廣播地址,不能通過255找到對應裝置。子網掩碼用來檢視裝置屬於哪個網段,通常寫為255.255.255.0,因為這個子網掩碼和ip做與操作運算,會得到ip的前三位加上一個0,那麼對應的網段就是ip的前三位加上一個0了。閘道器就是對應的路由器的ip地址。DNS:用來做ip和域名對映的,當我們請求www.baidu.com的時候,先去本地找一個hosts的檔案,看裡面有沒有ip和域名的對映關係,如果有,就訪問對應的ip,如果沒有,就交給DNS伺服器,DNS將域名轉化成ip地址,告訴瀏覽器就知道訪問哪個ip地址了,這裡可以設定成閘道器的ip,因為閘道器會自動去尋找dns,閘道器能解析域名,裝置也能解析。

學會新增hosts檔案中的內容,一個大型分散式系統,可能有很多臺機器,使用ip地址比較難記憶,可以用主機名來記憶,但是ping主機名肯定是找不到的,所以要在hosts中寫入主機名和ip的對應關係,此時,再ping主機名就可以ping通了。

關於網路地址的配置,下一節詳細介紹下。

五、VMware虛擬網路的配置介紹

首先開啟VMware,點選“編輯”選單,選擇“虛擬網路編輯器”,點選選擇“VMnet8”,設定如圖,點選NAT設定。

舉個例子,把閘道器設定成192.168.156.2,這個閘道器ip後面還會用到。設定好之後,點選虛擬機器檢視“網路介面卡”是不是NAT模式。啟動虛擬機器,需要修改一個檔案才能生效。

使用“vi /etc/sysconfig/network-scripts/ifcfg-eth0”命令,來配置虛擬網絡卡,BOOTPROTO屬性由“dbcp”改為“static”,ONBOOT屬性由“no”改為“yes”。下面新增4行內容,分別設定ip,閘道器,子網掩碼,dns。其中ip要和VMnet8的子網ip在同一個網段。gateway:設定的閘道器。netmask:子網掩碼。DNS:可以寫閘道器的ip地址。

注意:這裡的ip必須要和VMnet8的子網ip在同一網段,否則是ping不通的。

DEVICE=eth0
HWADDR=00:0C:29:56:0B:0A
TYPE=Ethernet
UUID=f4dd0abc-6a2d-407a-ac47-a234c7d76b1a
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.156.50
GATEWAY=192.168.156.2
NETMASK=255.255.255.0
DNS=192.168.156.2

儲存,重啟Linux作業系統。物理機和虛擬機器互相ping看看能不能通,虛擬機器ping百度看看能不能通。發現虛擬機器和物理機可以互相ping通,不過虛擬機器ping不通外網,這個情況之前沒有遇到過,查詢了一些資料後,需要給虛擬機器新增DNS。使用命令vi /etc/resolv.conf,然後在裡面新增nameserver 114.114.114.114,儲存關閉。再去ping百度就可以ping通了。

擴充套件:橋接,NAT,僅主機三者的區別:

  • 橋接:VMware虛擬出來的計算機像真實的計算機應用,和物理計算機是同等地位,直接與外網通訊。
  • NAT:虛擬系統需要藉助NAT系統轉換功能,通過宿主機所在網路來訪問外網,虛擬系統把物理機當做路由器來訪問外網,虛擬系統位於宿主機的下一級。
  • 僅主機:虛擬環境和真實環境是分開的,所有虛擬系統可以互相通訊,虛擬系統和宿主機和可以互相通訊,虛擬系統不能和外網通訊。

六、Linux網路配置及CRT遠端連線

當物理機可以ping通虛擬機器的時候,就可以用遠端連線軟體連線虛擬機器了,比如SecureCRT,Xshell等。連線的時候,輸入ip地址,使用者名稱和密碼,連線上遠端Linux之後,就可以在其中敲命令了,沒什麼多說的,具體操作一下就知道了。

七、回顧上午的ip地址配置

修改主機名:使用命令vi /etc/sysconfig/network
修改ip地址:使用命令vi /etc/sysconfig/network-scripts/ifcfg-eth0,記得service network restart才能生效
修改ip地址和主機名對映關係:使用命令:vi /etc/hosts
關閉iptables使用命令:service iptables stop
永久關閉防火牆:chkconfig iptables off

八、檔案常用操作命令

cd /home:切換到home目錄
mkdir aaa:建立aaa目錄,使用-p引數可以建立父目錄,即mkdir -p ccc/bbb/aaa,如果ccc和bbb不存在,會先創建出來
rmdir aaa:刪除空目錄,不方便,一般不用它
rm -rf aaa:遞迴刪除aaa資料夾及其中的子節點,沒有提醒,強制刪除
mv aaa bbb:把aaa改名為bbb
mv aaa bbb/:把aaa移動到bbb資料夾下
touch a.txt:建立一個空的a.txt檔案
echo "i miss you" > b.txt:不新增>的時候,就會在控制檯輸出i miss you,添加了>後就會重定向到b.txt檔案,此時控制檯就沒有輸出了,如果b.txt不存在就會自動建立
擴充套件:>>是追加的用法,使用>的時候,如果原檔案有內容,會覆蓋原檔案。
cat a.txt:檢視a.txt檔案的內容
vi b.txt:進入vi編輯器普通模式,按下i進入輸入模式,完成輸入後,按下鍵盤esc,再按:wq!或shift+zz即可儲存後退出,按下:q!表示不儲存退出

vi普通模式下的常用快捷鍵:a(在游標後一位開始插入)、A(在該行最後插入)、I(在該行最前面插入)、gg(跳轉到檔案首行)、G(跳轉到檔案末尾)、dd(刪除當前行,如果輸入5dd,一次性刪除游標後的5行)、yy(複製當前行,如果輸入5yy,一次性複製游標後的5行)、p(貼上)、v(字元選擇模式,選擇完成後,按y複製,按p貼上)、ctrl+v(進入塊選擇模式,選擇完成後,按y複製,按p貼上)、shift+v(進入行選擇模式,選擇完成後,按y複製,按p貼上)、%s/aaa/bbb:(查詢檔案中所有的aaa,並替換為bbb)、/ccc:(查詢ccc字元,並定位到第一個位置,按n可以定位到下一個匹配位置,按N可以定位到上一個匹配位置)

九、檔案許可權的操作

比如drwxr-xr-x,其中d(標識節點型別,d:資料夾,-:檔案,l:連結),rwx(r:可讀,w:可寫,x:可執行),這裡有3組rwx,第一組rwx:檔案擁有者對檔案的許可權;第二組rwx:檔案所屬組對檔案的許可權;第三組rwx:檔案的其他使用者(相對於上面兩類使用者)對檔案的許可權。

chmod 777 ccc:修改ccc檔案或資料夾的許可權,其中777表示rwx是111,表示最高許可權,如果需要修改資料夾下的所有檔案,可以使用-r引數,並把ccc改為ccc/即可。

chown angle:angle aaa:在root使用者下,將aaa的所有者和所屬組改為angle。

十、常用系統操作命令

useradd angle:新增angle使用者,需要在root使用者下執行
passwd angle:給angle使用者設定登入密碼,輸入的時候密碼不回顯
sudo+命令:在普通使用者下執行root使用者下的命令,只有這一條命令獲取root使用者許可權
su+使用者名稱:切換使用者
exit:退出當前使用者
mount:先建立一個目錄用於掛載mkdir /mnt/cdrom,使用掛載命令掛載mount -t iso9660 -o ro /dev/cdrom /mnt/cdrom/,意思是把dev下的cdrom掛載到mnt下的cdrom,-t iso9660表示掛載的檔案型別或者裝置型別,-o ro表示掛載後是readonly模式。
umount /mnt/cdrom:解除安裝剛才的掛載
du -sh a.txt:檢視a.txt的大小
df -h:檢視分割槽情況和佔用情況

十一、ssh免密登陸配置

如果現在Linux上通過ssh協議訪問同網段下的另一臺機器,使用ssh 192.168.*.*的命令,輸入另一臺機器的root使用者的密碼,就可以通過ssh協議登入到另一臺機器上,exit是退出。

傳送檔案到另一臺機器:scp a.txt [email protected]*.*:/home/。它的意思是拷貝a.txt到192.168.*.*這個ip下的home目錄下,以root身份拷貝,發現需要輸入密碼,也就是每次訪問遠端都需要輸入密碼,這對於批量操作非常的費時,所以下面瞭解一下ssh如何免密登陸。

ssh是一種遠端登陸的安全協議,有兩種驗證機制:1.使用者名稱+密碼;2.金鑰驗證。

假如現在有兩臺機器,a和b,a希望連線b,a傳送ssh連線請求,首先a使用ssh-keygen生成一對金鑰(一個公鑰,一個私鑰),a把公鑰拷貝給b,b拿到公鑰,將公鑰授權到authorized_keys列表中。之後在連線的時候,a傳送請求,b收到後,去authorized_keys中去檢視有沒有授權,發現有a的授權,因為別人可以冒充a的公鑰,那麼b會生成一個隨機字串,並將這個隨機字串用a的公鑰加密後,傳送給a,a收到後,用a的私鑰解密,將解密後的字串傳送給b,b驗證一致後,允許a連線b。

在a機器上輸入命令ssh-keygen生成金鑰。生成的金鑰在/root/.ssh下,將公鑰拷貝給b,並完成授權的命令:ssh-copy-id 192.168.*.*,之後輸入yes就可以完成了,嘗試用ssh 192.168.*.*連線一下,發現可以免密連線上了。

相關推薦

資料day01 軟體安裝開發基礎

一、基礎部分課程介紹  day01 Linux快速上手 虛擬機器安裝及網路配置 終端連線/ssh免密登陸 檔案、許可權、使用者、工具、軟體安裝 yum本地庫搭建 防火牆配置詳解 day02 Shell指令碼程式設計 Crontab 高併發網站技術架構簡潔

資料新手上路】“零基礎”系列課程--如何通過資料開發套件Data IDE玩轉資料

本教程是一個大資料開發套件Data IDE零基礎教程,通過Data IDE將多源異構的資料集匯入雲端MaxCompute,進行計算、分析;然後通過Data IDE系統排程定時處理,最終,通過Quick BI實現企業T-1天的業務報表及分析;

如何選擇適合的資料分析軟體

  KNIME.com、 Microsoft、 Oracle、 RapidMiner、SAP、 SAS 和 Teradata,其中有的廠商提供的工具不止一個。這些廠商分別代表著大資料分析市場的不同方面。我們將結合之前文章中提到的特點,對這些產品進行對比,看這些產品是如

Python爬蟲實習筆記 | Week1 軟體安裝基礎知識學習

2018/10/15 1.所思所想:今天劉鳳成學長跟我介紹了公司情況,以及我們小組的主要任務,即網路資料的爬取,決定學好學深,不辜負半年時光。下午的主要任務就是配置環境,所謂“工欲善其事,必先利其器”,但還是不能花太多時間,後面的具體工作才是根本。 2.工作: (1)ubuntu系統的安裝,因為之前

資料是什麼?0基礎資料怎麼進行入門學習?

0基礎我們該怎麼進行大資料入門學習呢?帶你們一起來學習。 一、大資料是什麼? 大資料,big data,《大資料》一書對大資料這麼定義,大資料是指不能用隨機分析法(抽樣調查)這樣捷徑,而採用所有資料進行分析處理。 這句話至少傳遞兩種資訊:。 1、大資料是海量的資料 2、大資料處理

主流資料分析軟體全面接觸

現在很多廠商都說自己的產品是大資料分析軟體。如果只是根據功能去區分這些產品,的確是件難事,因為很多工具具有相似的特徵和功能。此外,有些工具的差異是非常細微的。所以,關鍵區分因素可能還是要根據企業的能力以及在資料分析方面的成熟度,重點考慮如何在易用性、演算法複雜性和價格之間尋找平衡。 我們將在本文

視覺化資料分析軟體要掌握這6個核心技術!

大資料技術與商業智慧BI是相輔相成的,大資料技術可以幫助BI產品突破業務和技術的雙挑戰。視覺化大資料分析軟體在快速發展的市場環境中,迎來了越來越多的技術要求。這些核心技術成為大資料獲取、儲存、處理分析或視覺化的有效手段,可以說是我們這些專注研究視覺化大資料分析軟體的工作人員需要去學習和了解的!

資料平臺SQL編碼開發規範--轉自阿里雲DataWorks

本文向您介紹SQL編碼的基本原則和詳細的編碼規範。 編碼原則 SQL程式碼的編碼原則如下: 程式碼功能完善,健壯。 程式碼行清晰、整齊,具有一定的可觀賞性。 程式碼編寫要充分考慮執行速度最優的原則。 程式碼行整體層次分明、結構化強。 程式碼中應有必要的註釋以

關於bi資料分析軟體資料分析軟體

前言 本文的原文連線是: https://blog.csdn.net/freewebsys/article/details/84318480 未經博主允許不得轉載。 博主地址是:http://blog.csdn.net/freewebsys 1,關於bi 商業智慧

資料需要掌握的數學基礎

線性代數這部分數學知識與大資料技術開發的關係也很密切,矩陣、轉置、秩 分塊矩陣、向量、正交矩陣、向量空間、特徵值與特徵向量等在大資料建模、分析中也是常用的技術手段。 在網際網路大資料中,許多應用場景的分析物件都可以抽象成為矩陣表示,大量Web頁面及其關係、微博使用者及其關係、文字集中文字與詞彙的

學習筆記:從0開始學習資料-18.kettle安裝使用

Kettle是一款國外開源的ETL工具,純java編寫,可以在Windows、Linux、Unix上執行,資料抽取高效穩定。 Kettle 中文名稱叫水壺,該專案的主程式設計師MATT 希望把各種資料放到一個壺裡,然後以一種指定的格式流出。 Kettle這個ETL工具集,它允許你管理來自不同資料庫的

學習筆記:從0開始學習資料-17.Redis安裝及使用

Redis 是一個高效能的key-value資料庫。 redis的出現,很大程度補償了memcached這類key/value儲存的不足,在部 分場合可以對關係資料庫起到很好的補充作用。 1. 下載 wget http://download.redis.io/releases/redis-5

學習筆記:從0開始學習資料-16. kafka安裝及使用

kafka是訊息處理服務的開源軟體,高效高可用。可以作為大資料收集的工具或資料的管道。 1. 下載  http://kafka.apache.org/downloads 根據scala版本,我下載的是Scala 2.12  - kafka_2.12-2.1.0.tgz (as

學習筆記:從0開始學習資料-15. Flume安裝及使用

上節測試了spark  程式設計,spark sql ,spark streaming 等都測試可用了,接下來是資料來源的收集,Flume的安裝使用,其實很簡單,但作為完整,也寫個記錄筆記 1.下載  wget http://archive.cloudera.com/cd

學習筆記:從0開始學習資料-12. spark安裝部署

為了教學方便,考慮ALL IN ONE,一臺虛擬機器構建整個實訓環境,因此是偽分散式搭建spark  環境:   hadoop2.6.0-cdh5.15.1   jdk1.8   centos7 64位 1. 安裝scala環境 版本是scala-2.12.7,官網下載

學習筆記:從0開始學習資料-11. sqoop安裝部署

環境:centos7 已安裝java和hadoop 1.下載 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.16.0.tar.gz 2.解壓 tar -zxvf sqoop2-1.99.5-cdh5.16.0.t

學習筆記:從0開始學習資料-10. hive安裝部署

1. 下載 wget http://archive.cloudera.com/cdh5/cdh/5/hive-1.1.0-cdh5.15.1.tar.gz 2.解壓 tar -zxvf hive-1.1.0-cdh5.15.1.tar.gz 3.  hive的元資料(如表名,列

學習筆記:從0開始學習資料-6.hbase安裝

環境:centos7 jdk1.8.0  hadoop2.6.0已安裝好了,單機偽分散式 1.下載hbase安裝檔案 wget http://archive-primary.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.16.0.tar.gz

學習筆記:從0開始學習資料-3.Eclipse安裝

一直使用Visual Studio 開發.net程式,大資料需要使用java 在linux環境,需要使用Eclipse ide環境,安裝過程如下 1.下載 http://download.eclipse.org/eclipse/downloads/ 

學習筆記:從0開始學習資料-2.hadoop安裝

在膝上型電腦安裝學習環境,採用all in one的偽分散式,所有都在一臺電腦部署。 1.下載 hadoop wget http://archive-primary.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.0.tar.gz 2. 解壓&n