02 . Ansible高階用法(運維開發篇)
阿新 • • 發佈:2020-06-17
#### 自動化任務簡介
> 假設我們要在10臺linux伺服器上安裝一個nginx服務,手動是如何做的?
```shell
# 第一步, ssh登入NUM(1,n)伺服器
# 第二步,輸入對應伺服器密碼
# 第三步,執行命令: yum install nginx 迴圈操作n=10
# 第四步,執行命令: service nginx start
# 第五步,退出登入
```
**自動化任務執行的意義**
```shell
# 意義一, 提升運維工作效率,減少一份工作成本
# 意義二, 提高準確度.
```
**自動化任務執行的應用**
```shell
# 應用一, 批量命令執行
# 應用二, 定時程式任務執行
# 應用三, 批量程式應用服務安裝
# 應用四, 批量配置檔案同步
# 應用五, 批量程式碼部署
```
![](https://img2020.cnblogs.com/blog/1871335/202006/1871335-20200617170117857-1774831789.png)
#### ansible配置
`ansible是python中的一套模組,系統中的一套自動化工具,可以用作系統管理,自動化命令等任務`
##### **ansible優勢**
```shell
# 1.ansible是python中的一套完整的自動化執行任務模組
# 2.ansible的play_book模式,不用yaml配置,對於自動化任務執行一目瞭然.
# 3.自動化場景支援豐富
```
##### **ansible配置檔案**
```shell
1. inventory
# 該引數表示資源清單inventory檔案的位置,資源清單就是一些Ansible需要連線管理的主機列表
# inventory = /root/ansible/hosts
2. library
# Ansible的操作動作,無論是本地或遠端,都使用一小段程式碼來執行,這小段程式碼稱為模組,這個library引數就是指向存放Ansible模組的目錄
# library = /usr/share/ansible
3. forks
# 設定預設情況下Ansible最多能有多少個程序同時工作,預設設定最多5個程序並行處理。具體需要設定多少個,可以根據控制主機的效能和被管理節點的數量來確定。
# forks = 5
4. sudo_user
# 這是設定預設執行命令的使用者,也可以在playbook中重新設定這個引數
# sudo_user = root
# 注意: 新版本已經做了修改,如ansible2.4.1下已經為:
# default_sudo_user = root
5. remote_port
# 這是指定連線被關節點的管理埠,預設是22,除非設定了特殊的SSH埠,不然這個引數是不需要被修改的
# remote_port = 22
6. host_key_checking
# 這是設定是否檢查ssh主機的祕鑰,可以設定為True或者False
# host_key_checking = False
7. timeout
# 這是設定ssh連線的超時間隔,單位是秒
# timeout = 20
8. log_path
# ansible系統預設是不記錄日誌的,如果想把ansible系統的輸出記錄到指定地方,需要設定log_path來指定一個儲存Ansible日誌的檔案
9. private_key_file
# 在使用ssh公鑰私鑰登入系統時使用的祕鑰路徑
# private_key_file=/path/to/file.pem
```
```shell
ansible.cfg
[defaults]
inventory = /tmp/hosts
forks = 5
default_sudo_user = root
remote_port = 22
host_key_checking = Falsetimeout = 20
log_path = /var/log/ansible.log
#private_key_file=/tmp/file.pem
```
**ansible安裝**
```shell
# 1. 通過系統的方式,yum,apt,get等
# 2. 通過python的方式
# (推薦)python ./setup.py install
easy_install ansible
pip install ansible
```
#### Ansible基礎操作
> 當我們將Ansible安裝好以後,可以通過一些命令開始深入瞭解Ansible了.
> 我們最先展示的並非那強大的集配置,部署,自動化於一身的playbook.而是如何初始化.
##### **遠端連線概述**
> 在我們開始前要先理解Ansible如何通過SSH與遠端伺服器連線是很重要的.
> Ansible1.3及之後的版本預設會在本地的OpenSSH可用時會嘗試用其遠端通訊,這會啟用ControlPersist(一個性能特性),Kerberos,和在~/.ssh/config中的配置選項如 Jump Host setup.然而,當你使用Linux企業版6作為主控機(紅帽企業版及其衍生版如CentOS),其OpenSSH版本可能過於老舊無法支援ControIPersist,在這些作業系統中,Ansible將會退回並採用paramiko(由Python實現的高質量OpenSSH庫).如果你希望能夠使用像是Kerberized SSH之類的特性,煩請考慮使用Fedora,OS X,或Ubuntu作為你的主控機直到相關平臺上有更新版本的OpenSSH可供使用,或者啟用Ansible的"accelerated mode".
>
>
>
> 在Ansible1.2及之前的版本,預設將會使用paramiko,本地OpenSSH必須通過-c ssh或者配置檔案中設定.
>
>
>
> 我們偶爾會遇到不支援SFTP的裝置,雖然很少見,但有概率中獎,可以通過ansible配置檔案切換至scp模式來與之連線.
>
>
>
> 說起遠端裝置,Ansible會預設假定你使用SSH key(當然也推薦這種)但是密碼一樣可以,通過在需要的地方新增-ask-pass選項來啟用密碼驗證,如果使用了sudo特性,當sudo需要密碼時,也同樣適當的提供了-ask-sudo-pass選項.
> 也許這是常識,但也值得分享:任何管理系統受益於被管理的機器在主控機附近執行.如果在雲中執行,可以考慮在使用雲中的一臺機器來執行Ansible.
> 作為一個進階話題,Ansible不止支援SSH來遠端連線.連線方式是外掛化的而且還有許多本地化管理的選項諸如管理 chroot, lxc, 和 jail containers.一個叫做‘ansible-pull’的模式能夠反轉主控關係並使遠端系統通過定期從中央git目錄檢出 並 拉取 配置指令來實現背景連線通訊
##### **第一條命令(公鑰認證)**
> 我們已經安裝ansible了,第一件事就是編輯或者建立/etc/ansible/hosts並在其中加入一個或多個遠端系統,我們的public SSH key必須在這些系統的`authorized_keys`中.
```shell
# 我們現在ansible控制機上主機名解析
tail /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
121.36.43.223 node1
120.77.248.31 node2
116.196.83.113 master
# 將解析過的主機名放到ansible配置檔案裡面
tail -2 /etc/ansible/hosts
node1
node2
# ansible控制機生成公鑰並傳給需要被控制的機器上
ssh-copy-id node1
ssh-copy-id node2
# 因為考慮到安全問題,會有主機祕鑰的檢查,但如果在內網非常信任的伺服器就沒必要了.
sed -i 's/# *StrictHostKeyChecking *ask/StrictHostKeyChecking no/g' /etc/ssh/ssh_config
# 然後我們就可以執行第一條命令來檢視能ping通控制的所有節點.
ansible all -m ping
node1 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
node2 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
```
> Ansible會像SSH那樣試圖用你的當前使用者名稱來連線你的遠端機器.要覆寫遠端使用者名稱,只需使用’-u’引數. 如果你想訪問 sudo模式,這裡也有標識(flags)來實現:
```shell
ansible all -m ping -u bruce
ansible all -m ping -u bruce --sudo
ansible all -m ping -u bruce --sudo --sudo-user batman
```
> (如果你碰巧想要使用其他sudo的實現方式,你可以通過修改Ansible的配置檔案來實現.也可以通過傳遞標識給sudo(如-H)來設定.) 現在對你的所有節點執行一個命令:
```shell
ansible all -a "/bin/echo hello"
node1 | CHANGED | rc=0 >>
hello
node2 | CHANGED | rc=0 >>
hello
```
**公鑰認證**
> Ansible1.2.1及其之後的版本都會預設啟用公鑰認證
>
>
>
> 如果有個主機重新安裝並在“known_hosts”中有了不同的key,這會提示一個錯誤資訊直到被糾正為止.在使用Ansible時,你可能不想遇到這樣的情況:如果有個主機沒有在“known_hosts”中被初始化將會導致在互動使用Ansible或定時執行Ansible時對key資訊的確認提示.
>
> 如果你想禁用此項行為並明白其含義,你能夠通過編輯 /etc/ansible/ansible.cfg or ~/.ansible.cfg來實現:
```shell
[defaults]
host_key_checking = False
```
> 同樣注意在paramiko 模式中 公鑰認證 相當的慢.因此,當使用這項特性時,切換至’SSH’是推薦做法.
##### 密碼認證
> 因為我們接下來要將存取的密碼放到主機清單甚至存到Mysql裡面,我們可以裝一個ssh_pass
```
apt-get install sshpass
```
> 我們將之前的公鑰.ssh目錄都刪掉,主機名解析不用管.
**注意,刪除.ssh目錄過後記得關閉主機祕鑰檢查.**
```shell
tail -3 /etc/hosts
121.36.43.223 node1
120.77.248.31 node2
116.196.83.113 master
tail -2 /etc/ansible/hosts
node1
node2
ansible all -m ping -k
# 並不是真的ping,只是檢查客戶端的22號埠是否提供工作.不指定使用者預設root使用者
# -k 輸入密碼
# -m 指定模組
SSH password:
node1 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
node2 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
# 如果不想指定使用者名稱和密碼,避免ansible每次執行到相應主機都會要求輸入密碼.
tail -2 /etc/ansible/hosts
node1 ansible_ssh_user='root' ansible_ssh_pass='youmen'
node2 ansible_ssh_user='root' ansible_ssh_pass='youmen' ansible_ssh_port=22
ansible all -m ping
node1 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
node2 | SUCCESS => {
"ansible_facts": {
"discovered_interpreter_python": "/usr/bin/python"
},
"changed": false,
"ping": "pong"
}
```
#### Ansible常用模組
##### **常用模組**
**塊**
| 模組名 | 作用 | 用例 |
| --------------------- | ------------- | ------------------------------------------------------------ |
| command | 預設模組 | ansible webserver -a "/sbin/reboot" -f 10 |
| shell | 執行shell命令 | ansible test -m shell -a "echo $HOSTNAME" |
| filetransfer | 檔案傳輸 | ansible test -m copy -a "src=/etc/hosts dest=/tmp/hosts" |
| managingpackages | 管理軟體包 | ansible test -m yum -a "name=nginx state=present" |
| user and groups | 使用者和組 | ansible test -m user -a "name=jeson password=123456" |
| Deploying | 部署模組 | ansible test -m git -a "repo=https://github.com/iopsgroup/imoocc dest=/opt/iops version=HEAD" |
| managingservices | 服務管理 | ansible test -m service -a "name=nginx state=started" |
| BackgroundOperatiions | 後臺執行 | ansible test -B 3600 -a "/usr/bin/running_operation --do-stuff" |
| gatheringfacts | 蒐集系統資訊 | ansible test -m setup |
#### playbook
> playbook由YAML語言編寫,YAML參考了其他多種語言,包括: XML,C語言,Python,Perl以及電子郵件格式RFC2822,Clark Evans在2001年5月首次發表了這種語言,另外Ingy dt Net與Oren-Kiki也是這語言的共同設計者.
**playbook的優勢**
```shell
# 1. 功能比adhoc更全
# 2. 控制好依賴
# 3. 展現更直觀
# 4. 持久使用
```
**ansible-playbook執行常用命令引數:**
**執行方式:ansible-playbook playbook.yml [options]**
```shell
-u REMOTE_USER, --user=REMOTE_USER
# ssh 連線的使用者名稱
-k, --ask-pass
# ssh登入認證密碼
-s, --sudo
# sudo 到root使用者,相當於Linux系統下的sudo命令
-U SUDO_USER, --sudo-user=SUDO_USER
# sudo 到對應的使用者
-K, --ask-sudo-pass
# 使用者的密碼(—sudo時使用)
-T TIMEOUT, --timeout=TIMEOUT
# ssh 連線超時,預設 10 秒
-C, --check
# 指定該引數後,執行 playbook 檔案不會真正去執行,而是模擬執行一遍,然後輸出本次執行會對遠端主機造成的修改
-e EXTRA_VARS, --extra-vars=EXTRA_VARS
# 設定額外的變數如:key=value 形式 或者 YAML or JSON,以空格分隔變數,或用多個-e
-f FORKS, --forks=FORKS
# 程序併發處理,預設 5
-i INVENTORY, --inventory-file=INVENTORY
# 指定 hosts 檔案路徑,預設 default=/etc/ansible/hosts
-l SUBSET, --limit=SUBSET
# 指定一個 pattern,對- hosts:匹配到的主機再過濾一次
--list-hosts
# 只打印有哪些主機會執行這個 playbook 檔案,不是實際執行該 playbook
--list-tasks
# 列出該 playbook 中會被執行的 task
--private-key=PRIVATE_KEY_FILE
# 私鑰路徑
--step
# 同一時間只執行一個 task,每個 task 執行前都會提示確認一遍
--syntax-check
# 只檢測 playbook 檔案語法是否有問題,不會執行該 playbook
-t TAGS, --tags=TAGS
# 當 play 和 task 的 tag 為該引數指定的值時才執行,多個 tag 以逗號分隔
--skip-tags=SKIP_TAGS
# 當 play 和 task 的 tag 不匹配該引數指定的值時,才執行
-v, --verbose
# 輸出更詳細的執行過程資訊,-vvv可得到所有執行過程資訊。
```
##### 使用場景
**yaml語法**
1. playbook配置
```
---
- hosts: 39.108.140.0
remote_user: root
vars:
touch_file: youmen.file
tasks:
- name: touch file
shell: "touch /tmp/{{touch_file}}"
```
**yaml主要由三個部分組成:**
```shell
> hosts部分:
# 使用hosts指示使用哪個主機或主機組來執行下面的tasks,
# 每個playbook都必須指定hosts,hosts也可以使用萬用字元格式。
# 主機或主機組在inventory清單中指定,可以使用系統預設的/etc/ansible/hosts,
# 也可以自己編輯,在執行的時候加上-i選項,指定清單的位置即可。
# 在執行清單檔案的時候,--list-hosts選項會顯示那些主機將會參與執行task的過程中。
> remote_user:指定遠端主機中的哪個使用者來登入遠端系統,
# 在遠端系統執行task的使用者,可以任意指定,也可以使用sudo,
# 但是使用者必須要有執行相應task的許可權。
> tasks:指定遠端主機將要執行的一系列動作。tasks的核心為ansible的模組,
# 前面已經提到模組的用法。tasks包含name和要執行的模組,name是可選的,
# 只是為了便於使用者閱讀,不過還是建議加上去,模組是必須的,同時也要給予模組相應的引數。
```
**執行**
```shell
ansible-playbook -i /tmp/hosts --list-hosts ./f1.yaml
ansible-playbook ./f1.yaml
# 執行結果返回
# 紅色: 表示有task執行失敗或者提醒的資訊
# 黃色: 表示執行了且改變了遠端主機狀態
# 綠色: 表示執行成功
```
#### yaml語法和資料結構
##### yaml語法
> YAML格式是類似於JSON的檔案格式,以便於人理解和閱讀,同時便於書寫,首先學習瞭解一下YAML的格式,對我們後面書寫playbook很有幫助.
> 以下為playbook常用到的YAML格式
```shell
# 大小寫敏感
# 使用縮緊表示層級關係(只能空格不能使用tab)
# yaml檔案以"---"作為文件的開始
# 在同一行中,#之後的內容表示註釋,類似於shell,python和ruby.
# YAML中的列表元素以"-"開頭,然後緊跟著一個空格,後面為元素內容,就像這樣
- apple
- orange
等價於JSON的這種格式
[
"apple",
"orange"
]
# 同一個列表中的元素應該保持相同的縮排,否則會被當做錯誤處理.
# play中hosts,variables,roles,tasks等物件的表示方法都是鍵值中間以":"分割表示,":"後面還要增加一個空格.
```
##### 變數定義方式
**變數名可以為字母,數字以及下劃線**
**playbook裡的變數**
```shell
1. playbook的yaml檔案中定義變數賦值
> 2. --exxtra-vars執行引數賦給變數
> 3. 在檔案中定義變數
> 4. 註冊變數
```
```shell
# register關鍵字可以儲存指定命令的輸出結果到一個自定義的變數中.
---
- hosts: database
remote_user: root
vars:
touch_file: youmen_file
tasks:
- name: get date
command: date
register: date_output
- name: touch
shell: "touch /tmp/{{touch_file}}"
- name: echo date_output
shell: "echo {{date_output.stdout}}>/tmp/{{touch_file}}"
```
##### 資料結構
> yaml支援的資料結構
> **字典**
```
{name:jeson}
```
**列表**
```
- Apple
- Mango
- Orange
```
**純量: 數字,布林,字串**
##### 條件判斷
##### 迴圈
| 迴圈型別 | 關鍵字 | |
| ------------------ | ------------------ | ---- |
| 標準迴圈 | with_items | |
| 巢狀迴圈 | with_nested | |
| 遍歷字典 | with_dict | |
| 並行遍歷列表 | with_together | |
| 遍歷列表和索引 | with_indexed_items | |
| 遍歷檔案列表的內容 | with_file | |
| 遍歷目錄檔案 | with_fileglog | |
| 重試迴圈 | until | |
| 查詢第一個匹配檔案 | with_first_found | |
| 隨機選擇 | with_random_choice | |
| 在序列中迴圈 | with_sequence | |
**條件迴圈語句複用**
`種類一, 標準迴圈`
```shell
---
- hosts: nginx
tasks:
- name: add serveral users
user: name={{ item.name }} state=present groups={{ item.groups }}
with_items:
- { name: 'testuser1',groups: 'wheel' }
- { name: 'testuser2',groups: 'root' }
```
`種類二, 遍歷字典`
```shell
---
- hosts: nginx
remote_user: root
tasks:
- name: add serveral users
user: name={{ item.key }} state=present groups={{ item.value }}
with_dict:
{ 'testuser3':'wheel','testuser4':'root' }
```
`種類三, 遍歷目錄中內容`
```
---
- hosts: nginx
remote_user: root
tasks:
- file: dest=/tmp/aa state=directory
- copy: src={{ item }} dest=/tmp/bb owner=root mode=600
with_fileglob:
- aa/*n
```
##### **條件語句結合迴圈語句使用場景**
```
---
- hosts: nginx
remote_user: root
tasks:
- debug: msg="{{ item.key }} is the winner"
with_dict: {'jeson':{'english':60,'chinese':30},'tom':{'english':20,'chinese':30}}
when: item.value.english >= 10
```
##### 異常
**異常處理和相關操作**
**異常處理**
**1.忽略錯誤**
> 預設會檢查命令和模組的返回狀態,遇到錯誤就中斷playbook的執行
> 加入引數: ignore_errors: yes
> **Example**
```
- hosts: nginx
remote_user: root
tasks:
- name: ignore false
command: /bin/false
ignore_errors: yes
- name: touch a file
file: path=/tmp/test22 state=touch mode=0700 owner=root group=root
```
**2. tags標籤處理**
```
---
- hosts: nginx
remote_user: root
tasks:
- name: get process
shell: touch /tmp/change_test2
changed_when: false
```
**打標籤**
> 意義: 通過tags和任務物件進行捆綁,控制部分或者指定的task執行
```shell
# 打標籤
# 對一個物件打一個標籤
# 對一個物件打多個標籤
# 打標籤的物件包括: 單個task任務,include物件,roles物件等.
```
**標籤使用**
```
-t : 執行指定的tag標籤任務
--skip-tags: 執行 --skip-tags之外的標籤任務
```
3. 自定義change狀態
```shell
---
- hosts: nginx
remote_user: root
tasks:
- name: get process
shell: ps -ef |wc -l
register: process_count
failed_when: process_count > 3
- name: touch a file
file: path=/tmp/test1 state=touch mode=0700 owner=root group=root
```
##### roles角色和場景演練
**使用roles角色**
**include的用法**
```
include_tasks/include: 動態的包含tasks任務列表執行
```
![](https://img2020.cnblogs.com/blog/1871335/202006/1871335-20200617170109463-80685205.png)
**什麼是roles**
`是一種利用在大型playbook中的劇本配置模式,在這自己特定結構`
**為什麼需要用到roles**
> 和麵向物件開發思想相似
> 利用於大型的專案任務中,儘可能的將公共的任務,變數等內容獨立
**劇本結構和設計思路**
**ansible官方網站的建議playbook劇本結構如下:**
```shell
production # 正式環境的inventory檔案
staging #測試環境用得inventory檔案
group_vars/ # 機器組的變數檔案
group1
group2
host_vars/ #執行機器成員的變數
hostname1
hostname2
================================================
site.yml # 主要的playbook劇本
webservers.yml # webserver型別服務所用的劇本
dbservers.yml # 資料庫型別的服務所用的劇本
roles/
webservers/ #webservers這個角色相關任務和自定義變數
tasks/
main.yml
handlers/
main.yml
vars/
main.yml
dbservers/ #dbservers這個角色相關任務和定義變數
...
common/ # 公共的
tasks/
main.yml
handlers/
main.yml # handlers file.
vars/ # 角色所用到的變數
main.yml #
===============================================
templates/ #
ntp.conf.j2 # 模版檔案
files/ # 用於上傳存放檔案的目錄
bar.txt
foo.sh
meta/ # 角色的依賴
main.yml
```
##### 場景演練
**Nginx工程方式的編譯安裝**
```shell
# 劇本分解
ansible.cfg
- files # 存放上傳檔案
- index.html
- nginx # 系統init中,控制nginx啟動指令碼
- nginx-1.12.2.tar.gz # nginx的安裝包檔案
production # 線上的主機配置檔案
roles # roles角色執行
- apache
- common
tasks
main.yml
vars
main.yml
meta
nginx
- handlers 通過notify觸發
main.yml
- tasks
- basic.yml
- main.yml
- nginx.yml
- vars
= main.yml
tasks
staging 線下測試環境使用的主機配置檔案
- templates 模板(配置,html)
- nginx1.conf nginx的自定義conf檔案
webserver.yaml web服務相關主執行檔案
```
#### Ansible的核心類介紹
| 核心類 | 用途 | 所在的模組路徑 |
| ---------------- | ------------------------------ | ----------------------------------- |
| DataLoader | 用於讀取yaml,json格式的檔案 | ansible.parsing.dataloader |
| Play | 儲存執行hosts的角色資訊 | ansible.playbook.play |
| TaskQueueManager | ansible底層用到的任務佇列 | ansible.executor.task_queue_manager |
| PlaybookExecutor | 核心累執行playbook劇本 | ansible.executor.playbook_executor |
| CallbackBase | 狀態回撥,各種成功失敗的狀態 | ansible.plugins.callback |
| InventoryManager | 用於匯入inventory檔案 | ansible.inventory.manager |
| VariableManager | 用於儲存各類變數資訊 | ansible.vars.manager |
| Host,Group | 用於操作單個主機或者主機組資訊 | ansible.inventory.host |
##### InventoryManager
> 用來管理主機和主機組資訊
```shell
from ansible.parsing.dataloader import DataLoader
from ansible.inventory.manager import InventoryManager
# InventoryManager類
loader = DataLoader()
InventoryManager(loader=loader,sources=['youmen_hosts'])
# 1. 新增主機到指定主機組 add_host()
# 2. 檢視主機組資源get_groups_dict()
# 3. 獲取指定的主機物件get_host()
# VariableManager類
# loader: 例項物件
# inventory: 呼叫InventoryManager返回的例項物件.
VariableManager(loader=loader,inventory=inventory)
# 檢視主機變數方法 get_vars()
# 設定主機變數方法set_host_variable()
# 新增擴充套件變數extra_vars
```
##### ad-hoc模式呼叫場景
`ansible -m command -a "ls /tmp" testgroup -i /etc/ansible/hosts -f 5`
![](https://img2020.cnblogs.com/blog/1871335/202006/1871335-20200617170058446-129727