• 概
• 主要內容
  • 輸入
  • 簡化

Wang Z., Zhang W, Liu N. and Wang J. Transparent classification with multilayer logical perceptrons and random binarization. In AAAI Conference on Artificial Intelligence (AAAI), 2020.

概

和這兒類似的rule-based的網路, 主要探討如何訓練它.

主要內容

作者提出一種從零開始訓練的rule-based網路, 其由如下的CAS (Concept Rule Sets) 模組構成:

相較於 這兒 除了基本模組不同外, 作者額外引入了 Random Binarlization (RB) 機制. 即在訓練其連續化版本 \(\hat{W}\) 時:

1. 通過一定概率生成掩碼矩陣 \(M\);
2. 對於\(M_{i,j} = 1\)的權重\(\hat{W}_{i,j}\)進行二元化:

其餘元素保持不變;
3. 訓練時僅訓練馬偕 \(M_{i,j} = 0\)的元素, 即固定那些被二元化的權重;
4. 訓練一定次數後, 將這些被二元化的權重恢復如初, 回到第二步, 重複訓練.

相當於每次訓練一部分, 另一部分試圖去適應二元化的部分, 這樣可能在之後二元后後會容易些.

輸入

對於連續的輸入, 首先要通過離散, 作者採用的是:

Dougherty, J.; Kohavi, R.; and Sahami, M. 1995. Supervised and unsupervised discretization of continuous features. In MLP. Elsevier. 194–202.

的工作.

簡化

最後獲得的網路可能存在冗餘的結點: 不存在路徑經過的結點 (dead node) 和 重複的結點 (規則重複), 簡化這些結點可以降低模型的複雜度.