1. 程式人生 > >Mac OSX下安裝配置SRILM語言模型訓練工具

Mac OSX下安裝配置SRILM語言模型訓練工具

1.安裝依賴軟體包

  • C/C++ compiler:編譯器gcc 3.4.3及以上版本;
  • Tcl toolkit: 可嵌入式指令碼語言。用於指令碼程式設計和測試,這裡是為了SRILM的測試。此處需要7.3及以上版本,本例用的是tcl8.5(貌似是系統自帶的,安裝前可在終端輸入tclsh指令,若輸出%,則表示系統已安裝tcl,輸入exit退出即可;若未安裝,則前往http://www.tcl.tk/software/tcltk/ 下載安裝);
  • GNU make :構建和管理工程的工具,解釋Makefile裡的指令,描述了整個工程所有檔案的編譯順序和編譯規則。這裡是為了控制 SRILM的編譯和安裝;
  • GNU gawk
    :GNU所做的awk程式語言。對於文字資料的修改、對比、抽取等處理,使用c或passcal等不方便且費時,awk能夠以很短的程式完成。這裡是處理SRILM裡的一些指令碼檔案;
  • GNU gzip:使用C語言編寫的一種解壓縮軟體。這裡是為了使 SRILM 能夠處理.Z和.GZ字尾的壓縮檔案;
  • bzip2(可選):資料壓縮軟體,壓縮效率更高。這裡是使SRILM能處理.bz2字尾的壓縮檔案;
  • P7zip(可選):資料壓縮軟體。這裡是使SRILM能處理7-Zip的壓縮檔案;
  • xz(可選):資料壓縮軟體。這裡是使SRILM能處理xz的壓縮檔案
  • csh:Unix shell的一種

    以上軟體包安裝與否可通過在終端直接輸入軟體名稱,若提示軟體版本等資訊則表明系統已安裝,否則需要安裝。既可利用homebrew、pip等自動包管理器進行安裝,也可到SRILM的下載頁下載原始碼,自行編譯安裝,以下為下載地址:

    http://www.speech.sri.com/projects/srilm/download.html

2.安裝SRILM

2.1下載SRILM壓縮包

2.2 建立安裝目錄,解壓安裝包

  • 假設安裝目錄為:/Users/xxx/srilm-1.7.2,將下載的壓縮包解壓至/Users/xxx/srilm-1.7.2目錄下;

2.3 修改Makefile檔案

  • 開啟srilm-1.7.2目錄下的Makefile檔案;

  • 找到此行:
    # SRILM = /home/speech/stolcke/project/srilm/devel
    另起一行輸入SRILM = /Users/xxx/srilm-1.7.2


    -注1:此行主要用於告知srilm的安裝路徑;
    -注2:有些Linux系統下的安裝教程提到需要註釋掉
    MACHINE_TYPE := $(shell $(SRILM)/sbin/machine-type)一行,並另起一行指定機器型別,目的是告訴Makefile之後要使用/Users/xxx/srilm-1.7.2/common/Makefile.machine.macosx檔案中的配置。但在實際的安裝過程以及srilm原始碼包根目錄下的INSTALL安裝說明中發現,即使不輸入MACHINE_TYPE := macosx也並未發現異常情況(歡迎提出異議,進一步探討)。

2.4 修改/Users/xxx/srilm-1.7.2/common /Makefile.machine.macosx檔案

  • 找到以下兩行:
    CC = cc $(GCC_FLAGS)
    CXX = c++ $(GCC_FLAGS) -DINSTANTIATE_TEMPLATES

    修改為:
    CC = /usr/bin/gcc $(GCC_FLAGS)
    CXX = /usr/bin/g++ $(GCC_FLAGS) -DINSTANTIATE_TEMPLATES

    注:此處用於指定編譯器位置
  • 找到:
    TCL_INCLUDE = -I/usr/include
    TCL_LIBRARY = -L/usr/lib -ltcl

    修改為:
    TCL_INCLUDE = -I/usr/include
    TCL_LIBRARY = /usr/lib/libtcl8.5.dylib

    -注1:TCL_INCLUDE主要用於指示tcl標頭檔案(.h)所在的路徑;
    -注2:TCL_LIBRARY主要用於指示tcl動態連結庫檔案的位置;
    -注3:TCL配置須保證tcl已安裝,若未安裝,可新增 NO_TCL = X;
  • 找到:GAWK = /usr/bin/awk
    修改為:GAWK = /usr/bin/gawk

2.5 編譯

  • 返回/Users/xxx/srilm-1.7.2/目錄,在終端輸入命令:make World
  • 如果依賴包不缺失的話,應該可以正常編譯通過,並在/Users/xxx/srilm-1.7.2/bin以及/Users/xxx/srilm-1.7.2/bin/macosx路徑下產生一系列的可執行檔案。

2.6 測試

  • 進入安裝目錄/Users/xxx/srilm-1.7.2/,在終端輸入命令:make test,等待一段時間,如果出現 IDENTICAL,就證明 SRILM 編譯成功。

2.7 配置環境變數

  • 為了實現在任意路徑下對srilm各模組的呼叫、以及srilm幫助文件的查詢,需對環境變數進行配置,主要做法是在/etc/profile檔案中新增PATH和MANPATH,具體命令如下:
  • sudo vim /etc/profile根據提示輸入系統密碼;
  • 英文輸入法狀態下,點選鍵盤I鍵進入編輯狀態,在profile檔案末尾中新增以下兩個export語句:
    export PATH=$PATH:/Users/xxx/srilm-1.7.2/bin:/Users/xxx/srilm-1.7.2/bin/macosx
    export MANPATH=$MANPATH:/Users/xxx/srilm/man
  • 按下Esc鍵;按下:鍵,輸入wq!三個字元,退出vim編輯狀態並儲存對profile檔案的修改;
  • 終端輸入source /etc/profile使得對環境變數的配置立即生效。

2.8 測試環境變數是否配置成功

  • 在任意路徑下,終端輸入命令ngram,出現”need at least an -lm file specified”的提示;輸入man ngram,出現下圖的幫助介面。至此,OS X下的SRILM安裝配置成功~~ Hooray! ~Enjoy~
    這裡寫圖片描述

P.S. 水平太low,中途歷經各種波折,低階錯誤不斷,折騰半天終於成了,總結梳理出來方便大家交流學習,歡迎各位老師批評指正~~

未來的路還很長,~~ (๑•̀ㅂ•́)و✧加油

相關推薦

Mac OSX安裝配置SRILM語言模型訓練工具

1.安裝依賴軟體包 C/C++ compiler:編譯器gcc 3.4.3及以上版本; Tcl toolkit: 可嵌入式指令碼語言。用於指令碼程式設計和測試,這裡是為了SRILM的測試。此處需要7.3及以上版本,本例用的是tcl8.5(貌似是系統自帶的,安

mac osX安裝openCV,used for python

rgb sed plain its 百度 顯示 can nbsp 編程 OpenCV是個開源的圖像處理庫,裏面的內容多多。想了解很多其它,請自行百度咯~ 篇blog是記錄在mac下。安裝openCV。然後使用python來引用openCV庫。 環境是: P

語言模型訓練工具SRILM

                     SRILM是著名的約翰霍普金斯夏季研討會(Johns Hopkins Summer Workshop)的產物,誕生於1995年,由SRI實驗室的Andreas Stolcke負責開發維護。  關於SRILM的安裝,我已經在前面關於moses平臺搭建的文章(參見:《Mo

語言模型訓練工具SRILM的使用

一、小資料 假設有去除特殊符號的訓練文字trainfile.txt,以及測試文字testfile.txt,那麼訓練一個語言模型以及對其進行評測的步驟如下: 1:詞頻統計       ngram-count -text trainfile.txt -order 3 -writ

語言模型訓練工具SRILM詳解

SRILM是著名的約翰霍普金斯夏季研討會(Johns Hopkins Summer Workshop)的產物,誕生於1995年,由SRI實驗室的Andreas Stolcke負責開發維護。關於SRILM的安裝,我已經在前面關於moses平臺搭建的文章(參見:《Moses相關

Mac osxsublime text3配置C語言環境

在網上找了很久mac下C的配置,結果多少有點問題,今天終於解決了 分享出來供大家參考 開啟sublime text3,Tools/Build System/New Build system建立一個新配置檔案, { "cmd": ["gcc", "${file}", "-o

mac安裝配置go開發環境

string hello pkg obi cin keyword art ces mac 1、官網下載安裝包(需FQ)   https://storage.googleapis.com/golang/go1.7.darwin-amd64.pkg 2、配置Go環境變量GOPA

mac安裝配置nginx,php環境

服務 端口 通過 etc 安裝 set cnblogs fast ocr 1、安裝nginx 在mac系統下我們使用brew來安裝nginx,使用brew來安裝,它會自動安裝相應的依賴庫。 brew install nginx 在安裝完畢後,終端會輸出配置信息: Doc

解決mac osxpip安裝ipython權限的問題

模式 xtra 問題 marker sudo protect ras mac oot 1 pip install ipython --user -U 下面是pip install gevent的錯誤提示, 又是 O

Mac OS安裝MongoDB以及配置方法總結【筆記】

用戶 base ces 內容 bsp 完成後 light roo reat 首先打開命令框,輸入: brew install mongodb   安裝完成後 啟動、停止、重啟如下 brew services start mongodb brew s

mac osx homebrew安裝

##前言 由於作者這個月什麼東西都沒寫,只能湊湊文字 由於很多開源的東西,蘋果沒有安裝源,可以使用homebrew來管理安裝,所以在osx下安裝好homebrew還是很方便的。記錄下。 ##步驟 ###1.檢視版本 輸入 ruby -version 輸出 ruby 2.0.0p648 (

01.mac安裝配置maven

第一步:下載maven包 maven 3.3 下載地址 https://archive.apache.org/dist/maven/maven-3/ maven 最新下載地址 http://maven.apache.org/download.cgi# 第二步:解壓maven包並放入到硬碟任意

Mac OS X安裝配置Android原始碼開發環境

分享一下我老師大神的人工智慧教程!零基礎,通俗易懂!http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識,造福人民,實現我們中華民族偉大復興!        

Go安裝之linux如何配置Go語言環境變數?

文章目錄 1. 登入root 使用者,修改配置 2. 修改內容 3. 生效配置,並測試是否可用 1. 登入root 使用者,修改配置 切換到root使用者模式 $ sudo -i password: 開啟/etc/p

Ubuntu18.04安裝配置Caffe-SSD-GPU版本並MNIST模型測試和matlab caffe介面測試

Ubuntu18.04->sogou->顯示卡驅動->matlab2018a->cuda9.0->cudnn5.01->opencv3.4.1->caffe opencv 和caffe 比較難裝。其中opencv最為慢,主要make 一次太久。

mac osx homebrew 安裝cocoaPods

由於很多開源的東西,蘋果沒有安裝源,可以使用homebrew來管理安裝,所以在osx下安裝好homebrew還是很方便的。記錄下。 檢視版本 ruby -version ruby 2.0.0p648 (2015-12-16 revision 53162) [univers

Mac安裝配置Python2和Python3並相互切換使用

  mac os 以前沒有使用過,這次使用了一把,的確還是比較不順手的,估計從今以後,就要把平臺逐漸切換到mac了。今後好的文章,專門會開一個macos專欄,專門記錄macos的使用過程中的心得,體會,以及遇到的一些問題總結。     一般是python2預設安裝了,python3沒有安

mac安裝配置和使用zsh+autojump

1,安裝zsh,執行 sh -c "$(curl -fsSL https://raw.github.com/robbyrussell/oh-my-zsh/master/tools/install.sh)" 2,安裝autojump,執行 brew install aut

Mac/CentosVim配置及常用外掛安裝

set nocompatible              " be iMproved, requiredfiletype off                  " requiredset rtp+=~/.vim/bundle/Vundle.vimcall vundle#begin() Plugin

mac安裝配置freeglut,設定xcode

主要參考文章: http://lazyfoo.net/tutorials/OpenGL/01_hello_opengl/mac/index.php FreeGLUT doesn't have any prebuild frameworks we can use with