【python系統學習16】編碼基礎知識
編碼
計算機是怎麼傳輸和儲存資料的？
就是把人類認識的中英文字、其他國家語言、數字甚至運算子等符號轉成二進位制的0、1，並進行儲存和傳輸。
編碼
人類語言：中英文字、其他國家語言、數字甚至運算子等符號
計算機語言：二進位制的0、1【沒錯，計算機只認識0和1】
編碼：將人類語言轉換為計算機語言。
除了0、1這些阿拉伯數字，像a、b、c這樣的52個字母（包括大小寫），還有一些常用的符號（例如*、#、@等）在計算機中儲存時也要使用二進位制數來表示，而具體用哪些二進位制數字表示哪個符號，理論上每個人都可以有自己的一套規則（這就叫編碼規則，形成編碼表）。
如果使用了不同的編碼規則，就會有計算機識別不了的情況，出現亂碼。
進位制
二進位制、八進位制、十六進位制。
八進位制和十六進位制分別是二進位制的3次方和4次方。方便和二進位制之間非常直接的相互轉換
二進位制
由0和1構成的
| 二進位制 | 十進位制 |
|---|---|
| 00 | 0 |
| 01 | 1 |
| 10 | 2 |
| 11 | 3 |
| 100 | 4 |
| 101 | 5 |
| 110 | 6 |
| 111 | 7 |
| 1000 | 8 |
二進位制的00，代表十進位制的0 二進位制的01，代表十進位制的1 二進位制的10，代表十進位制的2【笑話：世界上有10種人，懂二進位制的和不懂二進位制的】 二進位制的11，代表十進位制的3 二進位制的100，代表十進位制的4 以此類推...
當有兩位數時，我們可以表示0到3，共4種狀態，即2的平方 當有三位數時，我們可以表示0到7，共8種狀態，即2的三次方 當有八位數時，我們可以表示0到255，共256種狀態，即2的8次方
八進位制
使用0、1、2、3、4、5、6、7組成的
十六進位制
使用0、1、2、3、4、5、6、7、8、9、a、b、c、d、e、f組成的
ASCII編碼表中的“K”
| 二進位制 | 八進位制 | 十進位制 | 十六進位制 | 字母 |
|---|---|---|---|---|
| 01001011 | 113 | 75 | 4B | K |
注意這裡還是大寫的字母K哦～
儲存單位
計算機裡的儲存單位
位/位元（bit）
位：又叫位元（bit）是計算機裡最小的儲存單位。用來存放一位二進位制書，即0或1。
位元組（byte）
八個位元是一個位元組，是計算機裡最常用的單位。簡寫“B”
千位元組（Kilobyte）
兆位元組（Megabyte）
簡稱“兆”
吉位元組（Gigabyte）
又叫千兆
單位換算
1B(byte 位元組) = 8bit
1KB(Kilobyte 千位元組) = 1024B
1MB(Megabyte 兆位元組) = 1024KB
1GB(Gigabyte) = 1024MB
為什麼辦的100兆的寬頻，撐死就只有10幾兆的下載速度？
因為運營商的頻寬是以位元每秒為單位的，比如100M就是100Mbit/s。
而我們常看到的下載速度KB卻是以位元組每秒為單位顯示的，1byte = 8bit，所以運營商說的頻寬得先除以8，你的百兆寬頻下載速度，也就是十幾兆了。
編碼表
為了避免亂碼，人類就約定了一套共同的編碼規則。就像計算機世界的新華字典、牛津英語字典。
編碼表歷史
ASCII
ASCII編碼（讀音：/ˈæski/），美國首先出臺。統一規定了常用符號用哪些二進位制數來表示。 因為英文字母、數字再加上其他常用符號，也就100來個，因此使用7個位元位（最多表示128位）就夠用了，所以一個位元組中被剩下的那個位元位就被預設為0。但歐洲不光有英語，還有法語字母上的注音符。於是歐洲用了美國剩下的那個位元位，普遍使用一個全位元組（8個位元位）進行編碼，最多可表示256位，至此，一個位元組就用滿了！
ASCII統一了前面0-127位，但從狀態128到255這一段的解釋就完全亂套了，比如135在法語，希伯來語，俄語編碼中完全是不同的符號。
GB2312和GBK
中國10萬漢字，256位也不夠用。於是一張新編碼表 GB2312被中國科學家發明了。 用2個位元組，也就是16個位元位，來表示絕大部分（65535個）常用漢字。後來，為了能顯示更多的中文，又出臺了GBK標準。
Unicode
因各個國家的編碼表都不同。不同國家間通訊又會亂碼。
於是 Unicode（萬國碼）來統一。 這套編碼表將世界上所有的符號都納入其中。每個符號都有一個獨一無二的編碼，現在Unicode可以容納100多萬個符號，所有語言都可以互通，一個網頁上也可以顯示多國語言。
萬國碼的缺點是讓英文字元被迫佔用兩個位元組，耗費計算機儲存空間。（如A：用00010001就行，但是為了順從統一，需要用兩個位元組：00000000 00010001）
UTF-8
UTF-8（8-bit Unicode Transformation Format）被提出。針對Unicode的可變長度字元編碼。它可以使用1~4個位元組表示一個符號，根據不同的符號而變化位元組長度。而當字元在ASCII碼的範圍時，就用一個位元組表示，所以UTF-8還可以相容ASCII編碼。
Unicode與UTF-8這種曖昧的關係一言以蔽之：Unicode是記憶體編碼的規範，而UTF-8是如何儲存和傳輸Unicode的手段。
編碼表對比
| 編碼表 | 適用性 | 特點 |
|---|---|---|
| ASCII碼 | 英文大小寫，字元，不支援中文 | 美國人發明，佔用空間小，用一個位元組就行 |
| GB2312碼、GBK碼 | 支援中文 | 中國人發明，GBK是GB2312的升級，增加了更多原來沒有的文字字元 |
| Unicode碼 | 支援國際語言，萬國碼 | 適用性強但佔用空間大。在ASCII碼前面補8個bit位就是Unicode碼 |
| UTF-8碼 | 支援國際語言 | Unicode的升級，兩者容易互相轉化。佔用空間小、適用性強。ASCII碼被UTF-8碼包含。 |
編碼方案使用情況表
| 編碼表 | 當前使用情況 | 備註 |
|---|---|---|
| ASCII碼 | - | - |
| GB2312碼、GBK碼 | 中文的檔案和中文網站，使用GBK、GB2312 | - |
| Unicode碼 | 計算機記憶體中處理資料時使用的統一標準格式 | Python3中，程式處理我們輸入的字串使用Unicode編碼 |
| UTF-8碼 | 資料在硬碟上儲存，或者網路上傳輸時，用的UTF-8 | 因為節省空間。程式來轉換編碼。 |
基於上表，有時候面對不同編碼的資料，我們還需要手動操作實現編碼轉換。就要用到encode(編碼)和decode(解碼)。
編碼操作和解碼操作
編碼：encode()
語法：
'你想編碼的內容'.encode('你使用的編碼表名稱')
用法：
print('一天打魚兩個月晒網的小石頭'.encode('utf-8'))
# b'\xe4\xb8\x80\xe5\xa4\xa9\xe6\x89\x93\xe9\xb1\xbc\xe4\xb8\xa4\xe4\xb8\xaa\xe6\x9c\x88\xe6\x99\x92\xe7\xbd\x91\xe7\x9a\x84\xe5\xb0\x8f\xe7\x9f\xb3\xe5\xa4\xb4'
print('I Love U'.encode('gbk'))
# b'I Love U'
print('小石頭'.encode('utf-8'))
# b'\xe5\xb0\x8f\xe7\x9f\xb3\xe5\xa4\xb4'
將上述人類語言編碼得到機器語言後的列印結果在註釋裡。
字母b
這裡之所以有個字母b，代表他是bytes（位元組）型別的資料。
可以用type()函式驗證一下：
print(type(b'\xe5\xb0\x8f\xe7\x9f\xb3\xe5\xa4\xb4')) # <class 'bytes'>
符號\x
另外，幾乎每個字母/數字前邊都有的\x，他的作用是分隔符，用來分隔一個位元組和另一個位元組。
這樣的分隔符，我們還見過：
<a href="https://www.baidu.com/s?wd=%e5%b0%8f%e7%9f%b3%e5%a4%b4" />
對比發現下邊兩段字串，你有發現什麼奧妙麼！：
%e5%b0%8f%e7%9f%b3%e5%a4%b4
\xe5\xb0\x8f\xe7\x9f\xb3\xe5\xa4\xb4
%和\x一樣，都是一種分隔符。只不過%是url中的、\x是python中的
解碼：decode()
語法：
'你想解碼的內容'.encode('你使用的編碼表名稱')
用法：
print(b'\xe5\xb0\x8f\xe7\x9f\xb3\xe5\xa4\xb4'.decode('UTF-8')) # 小石頭
::: warning 注意 你要解碼的內容得跟編碼時用的編碼表一致。不然會報錯。 :::
也就是說，UTF-8編碼的位元組就一定要用UTF-8的規則解碼，其他編碼同理，否則就會出現亂碼或者報錯的情況，
print(b'\xe5\xb0\x8f\xe7\x9f\xb3\xe5\xa4\xb4'.decode('GBK'))
# 把utf-8編碼的字串用GBK來解碼，就報錯了。
# UnicodeDecodeError: 'gbk' codec can't decode byte 0xb4 in position 8: incomplete multibyte sequence