車道線檢測LaneNet
阿新 • • 發佈：2020-03-06
# LaneNet
- LanNet
- Segmentation branch 完成語義分割,即判斷出畫素屬於車道or背景
- Embedding branch 完成畫素的向量表示,用於後續聚類,以完成例項分割
- H-Net
## Segmentation branch
解決樣本分佈不均衡
車道線畫素遠小於背景畫素.loss函式的設計對不同畫素賦給不同權重,降低背景權重.
該分支的輸出為(w,h,2)．
## Embedding branch
loss的設計思路為使得屬於同一條車道線的畫素距離儘量小,屬於不同車道線的畫素距離儘可能大.即Discriminative loss.
該分支的輸出為(w,h,n)．n為表示畫素的向量的維度.
## 例項分割
在Segmentation branch完成語義分割,Embedding branch完成畫素的向量表示後,做聚類,完成例項分割.
## H-net
### 透視變換
to do
### 車道線擬合
LaneNet的輸出是每條車道線的畫素集合，還需要根據這些畫素點回歸出一條車道線。傳統的做法是將圖片投影到鳥瞰圖中，然後使用二次或三次多項式進行擬合。在這種方法中，轉換矩陣H只被計算一次，所有的圖片使用的是相同的轉換矩陣，這會導致坡度變化下的誤差。
為了解決這個問題，論文訓練了一個可以預測變換矩陣H的神經網路HNet，網路的輸入是圖片，輸出是轉置矩陣H。之前移植過Opencv逆透視變換矩陣的原始碼，裡面轉換矩陣需要8個引數，這兒只給了6個引數的自由度，一開始有些疑惑，後來仔細閱讀paper，發現作者已經給出瞭解釋，是為了對轉換矩陣在水平方向上的變換進行約束。
## 程式碼分析
```
binary_seg_image, instance_seg_image = sess.run(
[binary_seg_ret, instance_seg_ret],
feed_dict={input_tensor: [image]}
)
```
輸入(１,256,512,3) 輸出binary_seg_image:(1, 256, 512) instance_seg_image:(1, 256, 512, 4)
### 完成畫素級別的分類和向量表示
class LaneNet的inference分為兩步．
第一步提取分割的特徵,包括了用於語義分割的特徵和用以例項分割的特徵.
``` python
class LaneNet(cnn_basenet.CNNBaseModel):
def inference(self, input_tensor, name):
"""
:param input_tensor:
:param name:
:return:
"""
with tf.variable_scope(name_or_scope=name, reuse=self._reuse):
# first extract image features
extract_feats_result = self._frontend.build_model(
input_tensor=input_tensor,
name='{:s}_frontend'.format(self._net_flag),
reuse=self._reuse
)
#得到一個字典,包含了用於語義分割的feature map和用於例項分割的feature map．
#binary_segment_logits (1,256,512,2) 2是類別數目.即車道/背景．
#instance_segment_logits (1,256,512,64) 用以後面再做卷積為每個畫素生成一個向量表示
print('features:',extract_feats_result)
# second apply backend process
binary_seg_prediction, instance_seg_prediction = self._backend.inference(
binary_seg_logits=extract_feats_result['binary_segment_logits']['data'],
instance_seg_logits=extract_feats_result['instance_segment_logits']['data'],
name='{:s}_backend'.format(self._net_flag),
reuse=self._reuse
)
if not self._reuse:
self._reuse = True
return binary_seg_prediction, instance_seg_prediction
```
第一步得到的features如下:
```
features : OrderedDict([('encode_stage_1_share', {'data': , 'shape': [1, 256, 512, 64]}), ('encode_stage_2_share', {'data': , 'shape': [1, 128, 256, 128]}), ('encode_stage_3_share', {'data': , 'shape': [1, 64, 128, 256]}), ('encode_stage_4_share', {'data': , 'shape': [1, 32, 64, 512]}), ('encode_stage_5_binary', {'data': , 'shape': [1, 16, 32, 512]}), ('encode_stage_5_instance', {'data': , 'shape': [1, 256, 512, 2]}), ('instance_segment_logits', {'data': , 'shape': [1, 256, 512, 64]})])
```
特徵提取完畢,做後處理
``` python
class LaneNetBackEnd(cnn_basenet.CNNBaseModel):
def inference(self, binary_seg_logits, instance_seg_logits, name, reuse):
"""
:param binary_seg_logits:
:param instance_seg_logits:
:param name:
:param reuse:
:return:
"""
with tf.variable_scope(name_or_scope=name, reuse=reuse):
with tf.variable_scope(name_or_scope='binary_seg'):
binary_seg_score = tf.nn.softmax(logits=binary_seg_logits)
binary_seg_prediction = tf.argmax(binary_seg_score, axis=-1)
with tf.variable_scope(name_or_scope='instance_seg'):
pix_bn = self.layerbn(
inputdata=instance_seg_logits, is_training=self._is_training, name='pix_bn')
pix_relu = self.relu(inputdata=pix_bn, name='pix_relu')
instance_seg_prediction = self.conv2d(
inputdata=pix_relu,
out_channel=CFG.TRAIN.EMBEDDING_FEATS_DIMS,
kernel_size=1,
use_bias=False,
name='pix_embedding_conv'
)
return binary_seg_prediction, instance_seg_prediction
```
對每個畫素的分類,做softmax轉成概率.再argmax求概率較大值的下標. 對每個畫素的向量表示,用1x1卷積核做卷積,得到channel維度=CFG.TRAIN.EMBEDDING_FEATS_DIMS(配置為4).即(1,256,512,64)卷積得到(1,256,512,4)的tensor．即每個畫素用一個四維向量表示.
所以,整個LaneNet的inference返回的是兩個tensor.一個shape為(1,256,512) 一個為(1,256,512,4).
### 後處理
``` python
class LaneNetPostProcessor(object):
def postprocess(self, binary_seg_result, instance_seg_result=None,
min_area_threshold=100, source_image=None,
data_source='tusimple'):
```
對binary_seg_result,先通過形態學操作將小的空洞去除.參考