坑一、UnicodeEncodeError: 'utf-8' codec can't encode character '\udcce' in position 1936: surrogates not a

這個坑搞了我很久,開始以為是python的版本問題 然後一路pint命令下去 發現是label_map_util.py這邊的

with tf.gfile.FastGFile(path, 'r') as fid:  

label_map_string = fid.read()

出了問題 我單獨抽出來

於是自己寫了一段

import matplotlib.pyplot as plt;  
import tensorflow as tf;  
  
image_raw_data_jpg = tf.gfile.FastGFile('D:\我的圖片s\1.jpg', 'rb').read()  
  
with tf.Session() as sess:  
    img_data_jpg = tf.image.decode_jpeg(image_raw_data_jpg) #解碼  
    img_data_jpg = tf.image.convert_image_dtype(img_data_jpg, dtype=tf.uint8)  
    encode_image_jpg = tf.image.encode_jpeg(img_data_jpg) #jpg編碼  
    encode_image_png = tf.image.encode_png(img_data_jpg)#png編碼  
  
    with tf.gfile.GFile('output.jpg', 'wb') as f:  
        f.write(encode_image_jpg.eval())  
  
  
    with tf.gfile.GFile('output.png', 'wb') as f:  
        f.write(encode_image_png.eval())  
 

發現還是

UnicodeEncodeError: 'utf-8' codec can't encode character '\udcd5' in position 1942: surrogates not allowed

於是 我發現路徑我打多了一個s

D:\我的圖片s\1.jpg

於是我猜測是路徑不對引起的讀取錯誤

於是我

直接寫

# In[ ]:
label_map = label_map_util.load_labelmap("D:\\models-master\\research\\object_detection\\data\\mscoco_label_map.pbtxt")
categories = label_map_util.convert_label_map_to_categories(label_map, max_num_classes=NUM_CLASSES, use_display_name=True)
category_index = label_map_util.create_category_index(categories)

 

好了 執行通過 

問題：路徑不對造成的讀取錯誤

坑二、windows安裝TensorFlow gpu版本時候的bug；No module named "_pywrap_tensorflow" ；DLL load failed.

因為重灌系統了，所以重新安裝了tensorflow，發現，在python 3.5環境下直接pip install tensorflow，最後測試import tensorflow;時候報錯

1. import tensorflow as tf  
2. Traceback (most recent call last):  
3.   File "D:\Program Files\Python35\lib\site-packages\tensorflow\python\pywrap_tensorflow_internal.py", line 18, in swig_import_helper  
4.     return importlib.import_module(mname)  
5.   File "D:\Program Files\Python35\lib\importlib\__init__.py", line 126, in import_module  
6.     return _bootstrap._gcd_import(name[level:], package, level)  
7.   File "<frozen importlib._bootstrap>", line 986, in _gcd_import  
8.   File "<frozen importlib._bootstrap>", line 969, in _find_and_load  
9.   File "<frozen importlib._bootstrap>", line 958, in _find_and_load_unlocked  
10.   File "<frozen importlib._bootstrap>", line 666, in _load_unlocked  
11.   File "<frozen importlib._bootstrap>", line 577, in module_from_spec  
12.   File "<frozen importlib._bootstrap_external>", line 906, in create_module  
13.   File "<frozen importlib._bootstrap>", line 222, in _call_with_frames_removed  
14. ImportError: DLL load failed: 找不到指定的模組。  
15. During handling of the above exception, another exception occurred:  
16. Traceback (most recent call last):  
17.   File "D:\Program Files\Python35\lib\site-packages\tensorflow\python\pywrap_tensorflow.py", line 41, in <module>  
18.     from tensorflow.python.pywrap_tensorflow_internal import *  
19.   File "D:\Program Files\Python35\lib\site-packages\tensorflow\python\pywrap_tensorflow_internal.py", line 21, in <module>  
20.     _pywrap_tensorflow_internal = swig_import_helper()  
21.   File "D:\Program Files\Python35\lib\site-packages\tensorflow\python\pywrap_tensorflow_internal.py", line 20, in swig_import_helper  
22.     return importlib.import_module('_pywrap_tensorflow_internal')  
23.   File "D:\Program Files\Python35\lib\importlib\__init__.py", line 126, in import_module  
24.     return _bootstrap._gcd_import(name[level:], package, level)  
25. ImportError: No module named '_pywrap_tensorflow_internal'  

在網上看到一篇文章，解除安裝掉安裝的tensorflow，重灌tensorflow後解決了，不過不是pip install tensorflow，命令是：

pip install --upgrade https://storage.googleapis.com/tensorflow/windows/cpu/tensorflow-0.12.0rc0-cp35-cp35m-win_amd64.whl 

這裡有點插曲，出現

1. ImportError: No module named '_pywrap_tensorflow_internal'  這個錯誤的問題呢是安裝tensorflow的版本問題，直接打pip install tensorflow
2. 是安裝到了最新版本，而我的models-master是1.5版本的 所以執行odel_builder_test.py就上面那個錯 
3. 安裝回對應的1.5版本命令
4. pip install tensorflow==1.5.0

坑三、在用generate_tfrecord.py製作record資料集的時候報TypeError: None has type NoneType, but expected one of: int, long

我把日誌打印出來的時候發現是在ship434的時候報錯  去找了一下這個xml檔案 開啟看 發現

在框第二個的時候命名錯誤了不是Ship，是手誤造成的，改回來還要重新生成資料集CSV資料

坑四、win7+tensorflow1.7+python3.5出現

ImportError: No module named '_pywrap_tensorflow_internal' 

 這個問題好狗血。win7+tensorflow1.5+python3.5是沒有問題但裝上了tensorflow1.7就出現一下這個問題

把百度的方法試了遍 外掛裝了好幾個，vs2015都裝了都不行。看到外國一篇文章說是cpu不支援什麼A來著（沒記住這個單詞）

哎呀，放棄了裝這個1.7版本的 用回tensorflow1.5

坑五、GPU佔用，無法使用eval.py評估模型。

原因是：如果你沒有在訓練的時候把檔案trainer.py檔案裡新增一下程式碼

    #session_config.gpu_options.per_process_gpu_memory_fraction = 0.5#設定視訊記憶體為50%

tensorflow預設佔用全部的視訊記憶體空間 ，這下如果你想eval.py評估模型會報錯。視訊記憶體已經佔滿

坑六、出現OOM錯誤解決方法

1、bath_size設定太大,tensorflow預設是24，如果設定到15左右還是oom，可能是你的圖片尺寸太大，造成的OOM。（個人理解）

2、視訊記憶體已經被佔滿，出現oom

坑七、 tensorBord的預測結果和實際轉換pb模型出來的結果不一致問題

最近遇到一個大坑，我用tensorflow==1.7訓練模型 在tensorbord裡面結果是很好的，但匯出後用同樣的圖片結果居然和原來的預測的不一樣？？？  這個問題搞了我很久，後來遇到一位大神指點，是1.7更新了eval裡面的程式碼，而我的inference程式碼是網上找的，沒有和最新的inference一致，這裡我用1.7的object_detection_tutorial.ipynb測試出來的結果和預測的結果一樣，但匯出的pb模型和預測的完全不一樣。

坑八、不同格式的匯入圖片格式、預測結果不一樣。。

 用 python中Image.open和cv2.imread匯入的影象格式同一張圖片居然結果不一樣。。。這裡用cv2.imread匯入的圖片需要轉格式，搬運程式碼如下：

PIL.Image轉換成OpenCV格式：

[python] view plain copy
 
import cv2  
from PIL import Image  
import numpy  
  
image = Image.open("plane.jpg")  
image.show()  
img = cv2.cvtColor(numpy.asarray(image),cv2.COLOR_RGB2BGR)  
cv2.imshow("OpenCV",img)  
cv2.waitKey()  


OpenCV轉換成PIL.Image格式：

[python] view plain copy
 
import cv2  
from PIL import Image  
import numpy  
  
img = cv2.imread("plane.jpg")  
cv2.imshow("OpenCV",img)  
image = Image.fromarray(cv2.cvtColor(img,cv2.COLOR_BGR2RGB))  
image.show()  
cv2.waitKey()  

-------------------------------------------------未完待續----------------------------------------------------------------------------------------