最近在看GAN和VAE的過程中，發現資訊熵的概念多次出現，就又複習了一下。為了更形象的瞭解資訊熵，在網上找資訊熵函式影象的過程中，發現只有二元的資訊熵影象，出於好奇，畫了就畫了一下三元的。

$E=-p_1\ast$

程式碼：

# coding: utf-8
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
# 二類資訊熵
def binary_entropy(p, epslion=1e-10):
	'''params:
		   p: A numpy array
		   epslion: 防止數值溢位
	'''
	return -(p * np.log2(p + epslion) + (1 - p) * np.log2(1 - p + epslion))
# 三類資訊熵
def compute_entropy(p1, p2, p3, epslion=1e-10):
	'''params:
		   p1, p2, p3: A numpy array
		   epslion: 防止數值溢位
	'''
	return -(p1 * np.log2(p1 + epslion) + p2 * np.log2(p2 + epslion) + p3 * np.log2(p3 + epslion))
# 二類資訊熵影象
p1 = np.linspace(0, 1, 50)
entropy = binary_entropy(p1)

plt.figure()
plt.plot(p1, entropy, 'k-')
plt.xlabel('$p_1$')
plt.ylabel('E')
plt.savefig('./二類熵函式影象.jpg')
plt.show()

# 三類資訊熵影象
p1 = np.linspace(0, 1, 50)
p2 = np.linspace(0, 1, 50)

x, y = np.meshgrid(p1,p2)    # 生成網格
z = 1 - x - y                # p3 = 1- p1 - p2
z[z <= 0] = 0.				 # p1 + p2 >= 1 則p3 = 0
E = compute_entropy(x, y, z, 1e-10)
E[(x + y) > 1] = None 		 # p1 + p2 > 1 熵值不存在

fig = plt.figure()
ax = Axes3D(fig)
ax.plot_surface(x, y, E, rstride=1, cstride=1)
ax.set_xlabel('$p_1$')
ax.set_ylabel('$p_2$')
ax.set_zlabel('E')
plt.savefig('./三類熵函式影象.jpg')
plt.show()