現在我們都知道Geoffrey Hinton的膠囊網路（Capsule Network）震動了整個人工智慧領域，它將卷積神經網路（CNN）的極限推到一個新的水平。 網上已經有很多的帖子、文章和研究論文在探討膠囊網路理論，以及它如何做的比傳統的CNN更好。因此我不打算介紹這方面的內容，而是嘗試使用谷歌的Colaboratory工具在TensorFlow上實現CpNet。

你可以通過下面的幾個連結瞭解CpNet的理論部分：

現在我們開始寫程式碼。

開始之前，你可以參考我的CoLab Notebook執行以下程式碼:

現在克隆github上的倉庫並安裝依賴庫。 然後，我們從倉庫中取出MNIST

!git clone https://github.com/bourdakos1/capsule-networks.git 
!pip install -r capsule-networks / requirements.txt 
!touch capsule-networks / __ init__.py 
!mv capsule-networks capsule
!mv capsule / data / ./data/ 
!ls

現在讓我們匯入所有的模組：

import os
import tensorflow as tf
from tqdm import tqdm

from
 
 capsule.config import cfg
from capsule.utils import load_mnist
from capsule.capsNet import CapsNet

初始化

capsNet = CapsNet(is_training = cfg.is_training)

這就是膠囊網路（CpNet）在Tensorboard圖上的樣子：

訓練

tf.logging.info('Graph loaded')
sv = tf.train.Supervisor(graph = capsNet.graph,
                         logdir = cfg.logdir,
                         save_model_secs = 0
 
)

path = cfg.results +'/accuracy.csv' 
if not os.path.exists(cfg.results):
  os.mkdir(cfg.results)
elif os.path.exists(path):
  os.remove(path) 

fd_results = open(path,'w')
fd_results.write('step, test_acc\n') 

現在建立TF會話（session）並開始執行。

預設情況下，模型將被訓練50個epoch，批次大小為128。 你可以嘗試不同的超引數組合：

with sv.managed_session() as sess:
    num_batch = int(60000 / cfg.batch_size)
    num_test_batch = 10000 // cfg.batch_size
    teX, teY = load_mnist(cfg.dataset, False)
    for epoch in range(cfg.epoch):
        if sv.should_stop():
            break
        for step in tqdm(range(num_batch), total=num_batch, ncols=70, leave=False, unit='b'):
            global_step = sess.run(capsNet.global_step)
            sess.run(capsNet.train_op)

if step % cfg.train_sum_freq == 0:
                _, summary_str = sess.run([capsNet.train_op, capsNet.train_summary])
                sv.summary_writer.add_summary(summary_str, global_step)

if (global_step + 1) % cfg.test_sum_freq == 0:
                test_acc = 0
                for i in range(num_test_batch):
                    start = i * cfg.batch_size
                    end = start + cfg.batch_size
                    test_acc += sess.run(capsNet.batch_accuracy, {capsNet.X: teX[start:end], capsNet.labels: teY[start:end]})
                test_acc = test_acc / (cfg.batch_size * num_test_batch)
                fd_results.write(str(global_step + 1) + ',' + str(test_acc) + '\n')
                fd_results.flush()

if epoch % cfg.save_freq == 0:
            sv.saver.save(sess, cfg.logdir + '/model_epoch_%04d_step_%02d' % (epoch, global_step))
fd_results.close()
tf.logging.info('Training done')

在NVIDIA TitanXp卡上執行50個epoch，花了大約6個小時。
但經過訓練的網路效果驚人，總損失（total loss）達到了不可思議的0.0038874。

下載訓練好的模型