2. 程式人生 > >機器學習筆記（十四）——HMM估計問題和前向後向演算法

機器學習筆記（十四）——HMM估計問題和前向後向演算法

阿新 • • 發佈：2019-02-17

一、隱馬爾科夫鏈的第一個基本問題

    估計問題：給定一個觀察序列O=O1O2…OT和模型u=(A,B,π),如何快速地計算出給定模型u情況下，觀察序列O的概率， 即P(O|u)?

二、求解觀察序列的概率

    其實，求解這個問題就是一個解碼問題。 對於任意的狀態序列Q=q1q2…qT,有

P(O|Q,u)=∏t=1T−1P(Ot|qt,qt+1,u)=bq1(O1)bq2(O2)…bqT(OT)
並且
P(Q|u)=πq1aq1q2aq2q3…aqT−1qT
由於
P(O,Q|u)=P(O|Q,u)P(Q|u)
所以
P(O|u)=∑QP(O,Q|u)∑Q
P(O|Q,u)P(Q|u)=∑Qπq1bq1(O1)∏t=1T−1aqtqt+1bqt+1(Ot+1)
上述推導過程很直接，但是實際的計算量是非常龐大的，它要窮盡所有可能的狀態序列，如果模型中有N個狀態，時間長度為T， 那麼有NT個可能的狀態序列，這導致了並不能有效地執行這個演算法。因此，人們提出了前向演算法，利用動態規劃來解決指數爆炸的問題。

三、HMM中的前向演算法

    為了實現前向演算法，需要定義一個前向變數αt(i).
定義1 前向變數αt(i)是在時間t， HMM輸出序列O=O1O2…Ot並且位於狀態si的概率：

αt(i)=P(O1O2…Ot,qt=si|u)

    前向演算法的主要思想是，如果可以快速地計算前向變數α

t(i)，那麼就可以根據αt(i)計算出P(O|u), 因為P(O|u)是在所有狀態下觀察到序列O=O1O2…O

相關推薦

機器學習筆記（十四）——HMM估計問題和前向後向演算法

一、隱馬爾科夫鏈的第一個基本問題     估計問題：給定一個觀察序列O=O1O2…OT和模型u=(A,B,π),如何快速地計算出給定模型u情況下，觀察序列O的概率， 即P(O|u)? 二、求解觀察序列的概率     其實，求解這個問題就是一個解碼問題。

機器學習筆記（十四）：TensorFlow實戰六（經典卷積神經網路：AlexNet ）

1 - 引言 2012年，Imagenet比賽冠軍的model——Alexnet [2]（以第一作者alex命名）。這個網路算是一個具有突破性意義的模型 首先它證明了CNN在複雜模型下的有效性，然後GPU實現使得訓練在可接受的時間範圍內得到結果，讓之後的網路模型構建變得更加複雜，並且通過

機器學習筆記（十四）：異常檢測

目錄 1）Problem motivation 2）Gaussian distribution 3）Algorithm 4）Developing and evaluating an anomaly detection system 5）Anomaly detection vs

Nodejs學習筆記（十四）—Mongoose介紹和入門

tar 字段名 lse number 數組 int 位置 斷開 mongod 簡介 　　Mongoose是在node.js異步環境下對mongodb進行便捷操作的對象模型工具 　　那麽要使用它，首先你得裝上node.js和mongodb,關於mongodb的安裝和操作介紹可

Nodejs學習筆記（十四）— Mongoose介紹和入門 && Nodejs學習筆記（十）--- 與MongoDB的互動（mongodb/node-mongodb-native）、MongoDB入門

目錄 簡介 　　MongoDB  　　開源，高效能的NoSQL資料庫；支援索引、叢集、複製和故障轉移、各種語言的驅動程式；高伸縮性； 　　node-mongodb-native 　　mongodb的nodejs驅動； MongoDB安裝(windows) 　　按照官方說明在win7 64位

Nodejs學習筆記（十四）— Mongoose介紹和入門

目錄 簡介 　　Mongoose是在node.js非同步環境下對mongodb進行便捷操作的物件模型工具 　　前面有介紹過用node-mongodb-native來操作mongodb，實際開發中估計更多會選用類似mongoose的模組來操作來提升開發效率 　　下面我們一

機器學習筆記（十二）：TensorFlow實戰四（影象識別與卷積神經網路）

1 - 卷積神經網路常用結構 1.1 - 卷積層 我們先來介紹卷積層的結構以及其前向傳播的演算法。 一個卷積層模組，包含以下幾個子模組： 使用0擴充邊界(padding) 卷積視窗過濾器（filter） 前向卷積 反向卷積（可選） 1.1

機器學習筆記（十二）：TensorFlow實現四（影象識別與卷積神經網路）

1 - 卷積神經網路常用結構 1.1 - 卷積層 我們先來介紹卷積層的結構以及其前向傳播的演算法。 一個卷積層模組，包含以下幾個子模組： 使用0擴充邊界(padding) 卷積視窗過濾器（filter） 前向卷積 反向卷積（可選） 1.1.2 - 邊界填充

如鵬網學習筆記（十四）ASP.NET

表單參數 form表單 web服務 exp 序列化 date 文字 arr 處理程序 Asp.net筆記 一、Socket類 　　進行網絡編程的類，可以在兩臺計算機之間進行網絡通訊 　　過程： 　　　　向服務器發送指令： 　　　　GET /index.html HTTP

Java框架spring Boot學習筆記（十四）：log4j介紹

inf alt 技術分享 images 使用 image 詳細 配置文件 -128 功能 日誌功能，通過log4j可以看到程序運行過程的詳細信息。 使用 導入log4j的jar包 復制log4j的配置文件，復制到src下面 　　　　 　　 3.設置日誌級別 　　　

Linux學習筆記（十四）df命令、du命令、磁盤分區

xtend du -sh image c2c 浪費 code 服務 分享 bdc 一、df #查看文件系統的使用情況第一列文件系統中tmpfs結尾的都是臨時的文件系統，文件單位默認為kb df -h 自動適應文件大小的單位free可以查看swap的使用情況 df -i 查看

ASP.NET Core 2 學習筆記（十四）Filters

span ans 黃色 返回 lec red addm spn using 原文:ASP.NET Core 2 學習筆記（十四）FiltersFilter是延續ASP.NET MVC的產物，同樣保留了五種的Filter，分別是Authorization Filter、Res

javaweb學習筆記（十四）：JSP（4）

目錄   製作高仿的JSTL標籤庫之核心標籤庫 《1》xiaohua.tld檔案： 《2》依附的各個類： 《3》imitate.core.jsp檔案： 《4》瀏覽器檢視：   製作高仿的JSTL標籤庫之核心標籤庫 通過自定義標籤，製

機器學習筆記（十一）： TensorFlow實戰三（MNIST數字識別問題）

1 - MNIST數字識別問題 前面介紹了這樣用TensorFlow訓練一個神經網路模型和主要考慮的問題及解決這些問題的常用方法。下面我們用一個實際的問題來驗證之前的解決方法。 我們使用的是MNIST手寫數字識別資料集。在很多深度學習教程中，這個資料集都會被當做一個案例。 1.1

機器學習筆記（十五）：TensorFlow實戰七（經典卷積神經網路：VGG）

1 - 引言 之前我們介紹了LeNet-5和AlexNet，在AlexNet發明之後，卷積神經網路的層數開始越來越複雜，VGG-16就是一個相對前面2個經典卷積神經網路模型層數明顯更多了。 VGGNet是牛津大學計算機視覺組（Visual Geometry Group）和Google

Effective_STL 學習筆記（十四） 使用 reserve 來避免沒必要的重新分配

  對於vector和string，當需要更多的空間，以realloc等價的思想來增長。類似於realloc的操作有四個部分： 　　1. 分配新的記憶體塊，它有容器目前容量的幾倍。大部分實現中，vector和string的容量以2為因數增長。 　　　也就是說，當容器必須擴充套件時，它的容量每次

python基礎教程（第三版)學習筆記（十四）

第十四章 網路程式設計   鑑於Python提供的網路工具眾多，這裡只能簡要地介紹它的網路功能。 本章首先概述Python標準庫中的一些網路模組。然後討論SocketServer和相關的類，並介紹 地介紹同時處理多個連線的各種方法。最後，簡單地說一說Twisted，這是一個使用Pyth

Python學習筆記（十四）高階變數型別--字串

1、字串定義 字串 就是 一串字元，是程式語言中表示文字的資料型別   在Python中可以使用 一對雙引號"或者一對單引號'定義一個字串 雖然可以使用\"或者\’定義字串 如果字串內部需要使用',可以使用”定義字串 可以使用 索引 獲取一個字串中

機器學習筆記（十九）：TensorFlow實戰十一（多執行緒輸入資料）

1 - 引言 為了加速模型訓練的時間，TensorFlow提供了一套多執行緒處理輸入資料的框架。 下面我們來詳細的介紹如何使用多執行緒來加速我們的模型訓練速度 2 - 佇列與多執行緒 在TensorFlow中，佇列和變數類似，我們可以修改它們的狀態。下面給出一個示例來展示如

機器學習筆記（十八）：TensorFlow實戰十（影象資料處理）

1 - 引言 之前我們介紹了通過卷積神經網路可以給影象識別技術帶來突破性的進展，現在我們從影象的預處理這個角度來繼續提升我們影象識別的準確率。 輸入的預處理需要使用TFRecord格式來同一不同的原始資料格式，並且更加有效的管理不同的屬性。 並且TensorFlow支援影象處理函式，