記一次智慧搜題軟體的開發
阿新 • • 發佈：2020-12-18
很早之前曾經做過一個圖片識別的專案，當時有一項功能是整題識別，即傳入數學題的截圖，可通過ocr技術識別出圖片內容，但當時只限於識別文字，並未作更深一步的處理，現在想來實用性並不強，畢竟大家更需要的是解題思路，而不是讓AI讀出題幹（題乾的文字，我都認識，連起來我就不知道怎麼下手去做了 = = ），最近剛好有時間，於是嘗試來為有娃的朋友做一個搜題神器。
鑑於之前整題識別的開發使用有道智雲的良好體驗，我再次開啟其官方文件，果然找到了[拍照搜題](https://ai.youdao.com/DOCSIRMA/html/%E6%8B%8D%E7%85%A7%E6%90%9C%E9%A2%98/API%E6%96%87%E6%A1%A3/%E6%8B%8D%E7%85%A7%E6%90%9C%E9%A2%98%E6%9C%8D%E5%8A%A1/%E6%8B%8D%E7%85%A7%E6%90%9C%E9%A2%98%E6%9C%8D%E5%8A%A1-API%E6%96%87%E6%A1%A3.html)服務的開放API，輕車熟路地做了一個簡單的批量搜題[demo](https://github.com/LemonQH/OcrQuestion), 下面分享一下開發過程。
### 呼叫API介面的準備工作
首先，是需要在有道智雲的個人頁面上建立例項、建立應用、繫結應用和例項，獲取到應用的id和金鑰。具體個人註冊的過程和應用建立過程詳見文章
### 開發過程詳細介紹
下面介紹具體的程式碼開發過程。
API接收的引數較為簡單：
| 欄位名 | 型別 | 含義 | 必填 | 備註 |
| ---------- | ---- | ------------------------------------------------------------ | ----- | --------------------------------------------------------- |
| q | text | 要識別的圖片，需要Base64編碼 | True | 必須是Base64編碼(baes64前邊不要加上data:image/png;base64) |
| appKey | text | 應用ID | True | 可在[應用管理](https://ai.youdao.com/appmgr.s)檢視 |
| salt | text | UUID | True | uuid |
| curtime | text | 當前UTC時間戳（秒） | true | TimeStamp |
| sign | text | 簽名 sha256(應用ID+input+salt+curtime+應用金鑰);input的生成規則見表下的備註 | True | sha256(應用ID+input+salt+curtime+應用金鑰) |
| signType | text | 簽名型別 | true | v2 |
| type | text | 上傳型別， 僅支援base64上傳，請填寫固定值1 | True | 1 |
| searchType | text | 搜尋型別，img為圖片搜題,text為文字搜題 | false | img |
簽名`sign`生成方法如下：
signType=v2；
sign=sha256(`應用ID`+`input`+`salt`+`curtime`+`應用金鑰`)。
其中，input的計算方式為：`input`=`q前10個字元` + `q長度` + `q後10個字元`（當q長度大於20）或 `input`=`q字串`（當q長度小於等於20）。
**需要注意的是**，API對題目圖片有如下要求：
| 規則 | 描述 |
| -------- | ----------------- |
| 傳輸方式 | HTTPS |
| 請求方式 | POST |
| 字元編碼 | 統一使用UTF-8編碼 |
| 請求格式 | 表單 |
| 響應格式 | JSON |
| 圖片格式 | jpg/png/bmp |
| 圖片大小 | 1MB以下 |
| 文字長度 | 50個字元以下 |
#### Demo開發：
這個demo使用python3開發，包括maindow.py，QuestionClass.py，OcrQuestion.py 三個檔案，分別為demo的介面、介面邏輯處理和ocr搜題方法的封裝。
1. ##### 介面部分：
UI 部分較簡單，主要功能為選擇待題目圖片、選擇批改結果儲存路徑。其佈局程式碼如下：
```python
root=tk.Tk()
root.title(" youdao ocr question test")
frm = tk.Frame(root)
frm.grid(padx='50', pady='50')
# 選題和結果儲存按鈕
btn_get_file = tk.Button(frm, text='選擇題目圖片', command=get_files)
btn_get_file.grid(row=0, column=0, ipadx='3', ipady='3', padx='10', pady='20')
text1 = tk.Text(frm, width='40', height='10')
text1.grid(row=0, column=1)
btn_get_result_path=tk.Button(frm,text='選擇搜尋結果路徑',command=set_result_path)
btn_get_result_path.grid(row=1,column=0)
text2=tk.Text(frm,width='40', height='2')
text2.grid(row=1,column=1)
# 搜題按鈕
btn_sure=tk.Button(frm,text="搜題",command=search_question_files)
btn_sure.grid(row=4,column=1)
root.mainloop()
```
其中啟動按鈕btn_sure的繫結事件search_question_files()來根據題目照片搜題，並在完成後開啟結果儲存路徑:
```python
def search_question_files():
question.start_ocr()
os.system('start '+question.result_path)
```
2. ##### QuestionClass.py
這裡主要配合UI的邏輯，調用搜題方法。
首先定義一個類Question:
```python
class Question():
def __init__(self,file_paths,result_path):
self.file_paths=file_paths # 題目照片儲存路徑
self.result_path=result_path # 結果路徑
```
start_ocr()方法呼叫connect()方法依次搜題並儲存結果。
```python
def start_ocr(self):
for file_path in self.file_paths:
result=connect(file_path)
print(file_path)
self.save_result_format(file_path,result)
```
從OcrQuestion.py的connect方法獲取的結果是json格式，save_result_format()方法,解析從介面取得的介面，格式整理，儲存結果到html：
```python
def save_result_format(self,file_path,result):
result_file_name=os.path.basename(file_path).split('.')[0]+'_result.html'
f=open(self.result_path+'/'+result_file_name,'w',encoding='utf-8')
result_json= json.loads(result)
if result_json['errorCode'] == '0':
data=result_json['data']
questions=data["questions"]
text=data["text"]
f.write("題目識別：
"+text) i=0 for answers in questions: i=i+1 subject="科目："+answers["subject"]+"
" answer="答案：" +answers["answer"]+"
" analysis="分析："+answers["analysis"]+"
" knowledge="知識點："+answers["knowledge"]+"
" print(subject+answer+analysis+knowledge) result_each="搜題結果"+str(i)+"
=================這是一條分隔符============
" f.write(result_each) else: f.write("result error code:"+result_json['errorCode']) ``` 3. ##### OcrQuestion.py OcrQuestion.py 中封裝請求ocr搜題API的方法，其中最主要的方法是connect()： ```python def connect(pic_path): f = open(pic_path, 'rb') # 二進位制方式開啟圖檔案 q = base64.b64encode(f.read()).decode('utf-8') # 讀取檔案內容，轉換為base64編碼 f.close() data = {} data['q'] = q data['signType'] = 'v2' curtime = str(int(time.time())) data['curtime'] = curtime salt = str(uuid.uuid1()) signStr = APP_KEY + truncate(q) + salt + curtime + APP_SECRET sign = encrypt(signStr) data['appKey'] = APP_KEY data['salt'] = salt data['sign'] = sign response = do_request(data) result=response.content.decode('utf-8') print(result) return result ``` ###### API響應結果示例 ``` { "data":{ "questions":[ { "score":0.9875, "answer":"D", "subject":"歷史", "id":"a9db8f1252778836c99204e5cf9d7738", "analysis":"", "type":"", "content":"學者們認為，五四運動標誌著中國民族意識極大覺醒，表現在
A．近代民族民主思想開始傳播 B ．揭開了反帝反封建鬥爭的序幕
C．開啟了近代中國的思想啟蒙 D ．各階層民眾的廣泛動員和參與", "knowledge":"" }, { "score":0.9875, "answer":"D
注意題幹“中國民族意識極大覺醒”，結合所學可知，在五四運動過程中，學生、工人、商人都投入到之中，即各階層民眾的廣泛動員和參與，符合題意，故D項正確．
在戊戌變法前後，中國民族民主思想就已經開始傳播，故A項錯誤．
五四運動是一次反帝反封的愛國運動，但不是反帝反封鬥爭的開始，在這時期還沒有明確提出反帝反封的革命綱領，故B項錯誤．
中國近代是在新文化運動期間傳播民主思想，進行了思想的啟蒙，故C項錯誤．
故選D．", "subject":"歷史", "id":"2f8b9c814f064131cc7b2bead54f15da", "analysis":"本題考查五四運動．考查五四運動的意義．考查學生對基礎知識的識記、運用能力．", "type":"選擇題", "content":"學者們認為，五四運動標誌著中國民族意識極大覺醒，表現在( )
【答案】 
###### 來看看結果吧：
數學題搜尋結果展示：
歷史題搜題結果
### 總結
有道智雲的整體搜尋API文件清晰，題目範圍極廣而且可以自動判斷學科，搜尋結果可謂“舉一反三”，會返回幾個可能的相近題目，很具有參考價值，值得推薦！數學解答題會返回相關圖片、公式等，用在web專案中效果灰常不錯。
專案地址：https://github.com/LemonQH/OcrQuestion
### 開發過程詳細介紹
下面介紹具體的程式碼開發過程。
API接收的引數較為簡單：
| 欄位名 | 型別 | 含義 | 必填 | 備註 |
| ---------- | ---- | ------------------------------------------------------------ | ----- | --------------------------------------------------------- |
| q | text | 要識別的圖片，需要Base64編碼 | True | 必須是Base64編碼(baes64前邊不要加上data:image/png;base64) |
| appKey | text | 應用ID | True | 可在[應用管理](https://ai.youdao.com/appmgr.s)檢視 |
| salt | text | UUID | True | uuid |
| curtime | text | 當前UTC時間戳（秒） | true | TimeStamp |
| sign | text | 簽名 sha256(應用ID+input+salt+curtime+應用金鑰);input的生成規則見表下的備註 | True | sha256(應用ID+input+salt+curtime+應用金鑰) |
| signType | text | 簽名型別 | true | v2 |
| type | text | 上傳型別， 僅支援base64上傳，請填寫固定值1 | True | 1 |
| searchType | text | 搜尋型別，img為圖片搜題,text為文字搜題 | false | img |
簽名`sign`生成方法如下：
signType=v2；
sign=sha256(`應用ID`+`input`+`salt`+`curtime`+`應用金鑰`)。
其中，input的計算方式為：`input`=`q前10個字元` + `q長度` + `q後10個字元`（當q長度大於20）或 `input`=`q字串`（當q長度小於等於20）。
**需要注意的是**，API對題目圖片有如下要求：
| 規則 | 描述 |
| -------- | ----------------- |
| 傳輸方式 | HTTPS |
| 請求方式 | POST |
| 字元編碼 | 統一使用UTF-8編碼 |
| 請求格式 | 表單 |
| 響應格式 | JSON |
| 圖片格式 | jpg/png/bmp |
| 圖片大小 | 1MB以下 |
| 文字長度 | 50個字元以下 |
#### Demo開發：
這個demo使用python3開發，包括maindow.py，QuestionClass.py，OcrQuestion.py 三個檔案，分別為demo的介面、介面邏輯處理和ocr搜題方法的封裝。
1. ##### 介面部分：
UI 部分較簡單，主要功能為選擇待題目圖片、選擇批改結果儲存路徑。其佈局程式碼如下：
```python
root=tk.Tk()
root.title(" youdao ocr question test")
frm = tk.Frame(root)
frm.grid(padx='50', pady='50')
# 選題和結果儲存按鈕
btn_get_file = tk.Button(frm, text='選擇題目圖片', command=get_files)
btn_get_file.grid(row=0, column=0, ipadx='3', ipady='3', padx='10', pady='20')
text1 = tk.Text(frm, width='40', height='10')
text1.grid(row=0, column=1)
btn_get_result_path=tk.Button(frm,text='選擇搜尋結果路徑',command=set_result_path)
btn_get_result_path.grid(row=1,column=0)
text2=tk.Text(frm,width='40', height='2')
text2.grid(row=1,column=1)
# 搜題按鈕
btn_sure=tk.Button(frm,text="搜題",command=search_question_files)
btn_sure.grid(row=4,column=1)
root.mainloop()
```
其中啟動按鈕btn_sure的繫結事件search_question_files()來根據題目照片搜題，並在完成後開啟結果儲存路徑:
```python
def search_question_files():
question.start_ocr()
os.system('start '+question.result_path)
```
2. ##### QuestionClass.py
這裡主要配合UI的邏輯，調用搜題方法。
首先定義一個類Question:
```python
class Question():
def __init__(self,file_paths,result_path):
self.file_paths=file_paths # 題目照片儲存路徑
self.result_path=result_path # 結果路徑
```
start_ocr()方法呼叫connect()方法依次搜題並儲存結果。
```python
def start_ocr(self):
for file_path in self.file_paths:
result=connect(file_path)
print(file_path)
self.save_result_format(file_path,result)
```
從OcrQuestion.py的connect方法獲取的結果是json格式，save_result_format()方法,解析從介面取得的介面，格式整理，儲存結果到html：
```python
def save_result_format(self,file_path,result):
result_file_name=os.path.basename(file_path).split('.')[0]+'_result.html'
f=open(self.result_path+'/'+result_file_name,'w',encoding='utf-8')
result_json= json.loads(result)
if result_json['errorCode'] == '0':
data=result_json['data']
questions=data["questions"]
text=data["text"]
f.write("題目識別："+text) i=0 for answers in questions: i=i+1 subject="科目："+answers["subject"]+"
" answer="答案：" +answers["answer"]+"
" analysis="分析："+answers["analysis"]+"
" knowledge="知識點："+answers["knowledge"]+"
" print(subject+answer+analysis+knowledge) result_each="
搜題結果"+str(i)+"
=================這是一條分隔符============
" f.write(result_each) else: f.write("result error code:"+result_json['errorCode']) ``` 3. ##### OcrQuestion.py OcrQuestion.py 中封裝請求ocr搜題API的方法，其中最主要的方法是connect()： ```python def connect(pic_path): f = open(pic_path, 'rb') # 二進位制方式開啟圖檔案 q = base64.b64encode(f.read()).decode('utf-8') # 讀取檔案內容，轉換為base64編碼 f.close() data = {} data['q'] = q data['signType'] = 'v2' curtime = str(int(time.time())) data['curtime'] = curtime salt = str(uuid.uuid1()) signStr = APP_KEY + truncate(q) + salt + curtime + APP_SECRET sign = encrypt(signStr) data['appKey'] = APP_KEY data['salt'] = salt data['sign'] = sign response = do_request(data) result=response.content.decode('utf-8') print(result) return result ``` ###### API響應結果示例 ``` { "data":{ "questions":[ { "score":0.9875, "answer":"D", "subject":"歷史", "id":"a9db8f1252778836c99204e5cf9d7738", "analysis":"", "type":"", "content":"學者們認為，五四運動標誌著中國民族意識極大覺醒，表現在
A．近代民族民主思想開始傳播 B ．揭開了反帝反封建鬥爭的序幕
C．開啟了近代中國的思想啟蒙 D ．各階層民眾的廣泛動員和參與", "knowledge":"" }, { "score":0.9875, "answer":"D
注意題幹“中國民族意識極大覺醒”，結合所學可知，在五四運動過程中，學生、工人、商人都投入到之中，即各階層民眾的廣泛動員和參與，符合題意，故D項正確．
在戊戌變法前後，中國民族民主思想就已經開始傳播，故A項錯誤．
五四運動是一次反帝反封的愛國運動，但不是反帝反封鬥爭的開始，在這時期還沒有明確提出反帝反封的革命綱領，故B項錯誤．
中國近代是在新文化運動期間傳播民主思想，進行了思想的啟蒙，故C項錯誤．
故選D．", "subject":"歷史", "id":"2f8b9c814f064131cc7b2bead54f15da", "analysis":"本題考查五四運動．考查五四運動的意義．考查學生對基礎知識的識記、運用能力．", "type":"選擇題", "content":"學者們認為，五四運動標誌著中國民族意識極大覺醒，表現在( )
A.近代民族民主思想開始傳播
B.揭開了反帝反封建鬥爭的序幕
C.開啟了近代中國的思想啟蒙
D.各階層民眾的廣泛動員和參與
【答案】
D
", "subject":"歷史", "id":"48a28969d882f20b04ffec15c8f1b94c", "analysis":"題目問的五四運動，在戊戌變法前後，中國民族民主思想就已經開始傳播，所以A不正確。五四運動是一次反帝反封的愛國運動，但不是反帝反封鬥爭的開始，在這時期還沒有明確提出反帝反封的革命綱領，所以B不正確。中國近代是在新文化運動期間傳播民主思想，進行了思想的啟蒙，所以C不正確。在五四運動 過程中，學生、工人、商人都投入到之中，所以D正確。
", "type":"選擇題", "content":"
學者們認為，五四運動標誌著中國民族意識極大覺醒，表現在
A.近代民族民主思想開始傳播
B.揭開了反帝反封建鬥爭的序幕
C.開啟了近代中國的思想啟蒙
D.各階層民眾的廣泛動員和參與
###### 來看看結果吧：
數學題搜尋結果展示：
歷史題搜題結果
### 總結
有道智雲的整體搜尋API文件清晰，題目範圍極廣而且可以自動判斷學科，搜尋結果可謂“舉一反三”，會返回幾個可能的相近題目，很具有參考價值，值得推薦！數學解答題會返回相關圖片、公式等，用在web專案中效果灰常不錯。
專案地址：https://github.com/LemonQH/OcrQuestion