前言

在程式碼編寫中，很多時候我們都會處理字串：發現字串中的某些規律，然後將想要的部分抽取出來。對於發雜一些的場景，我們會使用正則表示式來幫忙，正則表示式強大而靈活，主流的變成語言如Java，Ruby的標準庫中都對其由很好的支援。

但是有時候，當接收到的字串結構更加複雜（往往會這樣）的時候，正則表示式要麼會變的不夠用，要麼變得超出我們能理解的複雜度。這時候，我們可能借助一些更為強大的工具。

下面是一個實際的例子，這個程式碼片段是MapServer的配置檔案，它用來描述地圖中的一個層，其中包含了巢狀的CLASS，而CLASS自身又包含了一個巢狀的STYLE節。顯然，正則表示式在解釋這樣複雜的結構化資料方面，是無法滿足需求的。

Ruby LAYER NAME "counties" DATA "counties-in-shaanxi-3857" STATUS default TYPE POLYGON TRANSPARENCY 70 CLASS NAME "polygon" STYLE COLOR 255 255 255 OUTLINECOLOR 40 44 52 END END END

123456789101112131415

LAYERNAME"counties"DATA"counties-in-shaanxi-3857"STATUSdefaultTYPEPOLYGONTRANSPARENCY70CLASSNAME"polygon"STYLECOLOR255255255OUTLINECOLOR404452ENDENDEND

在UNIX世界，很早的時候，人們就開發出了很多用來生成直譯器(parser)的工具，比如早期的lex)/yacc之類的工具和後來的

bison。通過這些工具，程式設計師只需要定義一個結構化的文法，工具就可以自動生成直譯器的C程式碼，非常容易。在JavaScript世界中，有一個非常類似的工具，叫做jison。在本文中，我將以jison為例，說明在JavaScript中自定義一個直譯器是何等的方便。

注意，我們這裡說的直譯器不是一個編譯器，編譯器有非常複雜的後端（抽象語法樹的生成，虛擬機器器指令，或者機器碼的生成等等），我們這裡僅僅討論一個編譯器的前端。

一點理論知識

本文稍微需要一點理論知識，當年編譯原理課的時候，各種名詞諸如規約，推導式，終結符，非終結符等等，

上下文無關文法（Context Free Grammar）

先看看維基上的這段定義：

在電腦科學中，若一個形式文法 G = (N, Σ, P, S) 的產生式規則都取如下的形式：V -> w，則稱之為上下文無關文法（英語：context-free grammar，縮寫為CFG），其中 V∈N ，w∈(N∪Σ)* 。上下文無關文法取名為“上下文無關”的原因就是因為字元 V 總可以被字串 w 自由替換，而無需考慮字元 V 出現的上下文。

基本上跟沒說一樣。要定義一個上下文無關文法，數學上的精確定義是一個在4元組：G = (N, Σ, P, S)，其中

1. N是“非終結符”的集合
2. Σ是“終結符”的集合，與N的交集為空（不想交）
3. P表示規則集（即N中的一些元素以何種方式）
4. S表示起始變數，是一個“非終結符”

其中，規則集P是重中之重，我們會在下一小節解釋。經過這個形式化的解釋，基本還是等於沒說，在繼續之前，我們先來看一下BNF，然後結合一個例子來幫助理解。

話說我上一次寫這種學院派的文章還是2009年，時光飛逝。

巴科斯正規化（Backus Normal Form）

維基上的解釋是：

巴科斯正規化（英語：Backus Normal Form，縮寫為 BNF），又稱為巴科斯-諾爾正規化（英語：Backus-Naur Form，也譯為巴科斯-瑙爾正規化、巴克斯-諾爾正規化），是一種用於表示上下文無關文法的語言，上下文無關文法描述了一類形式語言。它是由約翰·巴科斯（John Backus）和彼得·諾爾（Peter Naur）首先引入的用來描述計算機語言語法的符號集。

簡而言之，它是由推導公式的集合組成，比如下面這組公式：

Shell S -> T + T | T - T | T T -> F * F | F / F | F F -> NUMBER | '(' S ')' NUMBER -> 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9

1234	S->T+T|T-T|TT->F*F|F/F|FF->NUMBER|'('S')'NUMBER->0|1|2|3|4|5|6|7|8|9

可以被“繼續分解”的元素，我們稱之為“非終結符”，如上式中的S, T, NUMBER，而無法再細分的如0..9，(，)則被稱之為終結符。|表示或的關係。在上面的公式集合中，S可以被其右邊的T+T替換，也可以被T-T替換，還可以被T本身替換。回到上一小節最後留的懸疑，在這裡：

1. N就是{S, T, F, NUMBER}
2. Σ就是{0, 1, …, 9, (, ), +, -, *, /}
3. P就是上面的BNF式子
4. S就是這個的S(第一個等式的左邊狀態)

上面的BNF其實就是四則運算的形式定義了，也就是說，由這個BNF可以解釋一切出現在四則運算中的文法，比如：

Shell 1+1 8*2+3 (10-6)*4/2

123	1+18*2+3(10-6)*4/2

而所謂上下文無關，指的是在推導式的左邊，都是非終結符，並且可以無條件的被其右邊的式子替換。此處的無條件就是上下文無關。

實現一個四則運算計算器

我們這裡要使用jison，jison是一個npm包，所以安裝非常容易：

Shell npm install -g jison

1	npm install-gjison

安裝之後，你本地就會有一個命令列工具jison，這個工具可以將你定義的jison檔案編譯成一個.js檔案，這個檔案就是直譯器的原始碼。我們先來定義一些符號(token)，所謂token就是上述的終結符：

第一步：識別數字

建立一個新的文字檔案，假設就叫calc.jison，在其中定義一段這樣的符號表:

Shell \s+ /* skip whitespace */ [0-9]+("."[0-9]+)? return 'NUMBER' <<EOF>> return 'EOF' . return 'INVALID'

1234	\s+/*skip whitespace*/[0-9]+("."[0-9]+)?return'NUMBER'<<EOF>>return'EOF'.return'INVALID'

這裡我們定義了4個符號，所有的空格（\s+），我們都跳過；如果遇到數字，則返回NUMBER；如果遇到檔案結束，則返回EOF；其他的任意字元(.)都返回INVALID。

定義好符號之後，我們就可以編寫BNF了：

Shell expressions : NUMBER EOF { console.log($1); return $1; } ;

1234567

expressions:NUMBEREOF{console.log($1);return$1;};

這裡我們定義了一條規則，即expressions -> NUMBER EOF。在jison中，當匹配到規則之後，可以執行一個程式碼塊，比如此處的輸出語句console.log($1)。這個產生式的右側有幾個元素，就可以用$加序號來引用，如$1表示NUMBER實際對應的值，$2為EOF。

通過命令

Shell jison calc.jison

1	jison calc.jison

可以在當前目錄下生成一個calc.js檔案，現在來建立一個檔案expr，檔案內容為一個數字，然後執行：

Shell node calc.js expr

1	node calc.jsexpr

來測試我們的直譯器：

Shell $ echo "3.14" > expr $ node calc.js expr 3.14

123	$echo"3.14">expr$node calc.jsexpr3.14

目前我們完整的程式碼僅僅20行：

Shell /* lexical grammar */ %lex %% \s+ /* skip whitespace */ [0-9]+("."[0-9]+)? return 'NUMBER' <<EOF>> return 'EOF' . return 'INVALID' /lex %start expressions %% /* language grammar */ expressions : NUMBER EOF { console.log($1); return $1; } ;

1234567891011121314151617181920212223242526

/*lexicalgrammar*/%lex%%\s+/*skip whitespace*/[0-9]+("."[0-9]+)?return'NUMBER'<<EOF>>return'EOF'.return'INVALID'/lex%startexpressions%%/*languagegrammar*/expressions:NUMBEREOF{console.log($1);return$1;};

加法

我們的解析器現在只能計算一個數字（輸入給定的數字，給出同樣的輸出），我們來為它新增一條新的規則:加法。首先我們來擴充套件目前的BNF，新增一條新的規則：

Shell expressions : statement EOF { console.log($1); return $1; } ; statement: NUMBER PLUS NUMBER {$ $ = $1 + $3} | NUMBER {$ $ = $1} ;

123456789101112131415

expressions:statementEOF{console.log($1);return$1;};statement:NUMBERPLUSNUMBER{$$=$1+$3}|NUMBER{$$=$1};

即，expressions由statement組成，而statement可以有兩個規則規約得到，一個就是純數字，另一個是數字 加號 數字，這裡的PLUS是我們定義的一個新的符號：

Shell "+" return "PLUS"

1	"+"return"PLUS"

當輸入匹配到規則數字 加號 數字時，對應的塊{$$ = $1 + $3}會被執行，也就是說，兩個NUMBER對應的值會加在一起，然後賦值給整個表示式的值，這樣就完成了語義的翻譯。

我們在檔案expr中寫入算式：3.14+1，然後測試：

Shell $ jison calc.jison $ node calc.js expr 13.14

123	$jison calc.jison$node calc.jsexpr13.14

嗯，結果有點不對勁，兩個數字都被當成了字串而拼接在一起了，這是因為JavaScript中，+的二義性和弱型別的自動轉換導致的，我們需要做一點修改：

Shell statement: NUMBER PLUS NUMBER {$ $ = parseFloat($1) + parseFloat($3)} | NUMBER {$ $ = $1} ;

1234567

statement:NUMBERPLUSNUMBER{$$=parseFloat($1)+parseFloat($3)}|NUMBER{$$=$1};

我們使用JavaScript內建的parseFloat將字串轉換為數字型別，再做加法即可：

Shell $ jison calc.jison $ node calc.js expr 4.140000000000001

123	$jison calc.jison$node calc.jsexpr4.140000000000001

更多的規則

剩下的事情基本就是把BNF翻譯成jison的語法了：

Shell S -> T + T | T - T | T T -> F * F | F / F | F F -> NUMBER | '(' S ')' NUMBER -> 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9

1234	S->T+T|T-T|TT->F*F|F/F|FF->NUMBER|'('S')'NUMBER->0|1|2|3|4|5|6|7|8|9

Shell expressions : statement EOF { console.log($1); return $1; } ; statement: term PLUS term {$ $ = $1 + $3} | term MINUS term {$ $ = $1 - $3} | term {$ $ = $1} ; term: factor MULTIPLE factor {$ $ = $1 * $3} | factor DIVIDE factor {$ $ = $1 / $3} | factor {$ $ = $1} ; factor: NUMBER {$ $ = parseFloat($1)} | LP statement RP {$ $ = $2} ;

1234567 相關推薦 工程中的編譯原理 -- Jison入門篇 前言 在程式碼編寫中，很多時候我們都會處理字串：發現字串中的某些規律，然後將想要的部分抽取出來。對於發雜一些的場景，我們會使用正則表示式來幫忙，正則表示式強大而靈活，主流的變成語言如Java，Ruby的標準庫中都對其由很好的支援。 但是有時候，當接收到的字串結構更加 一、Cocos2dx在visualStudio或者vc++中環境搭建（入門篇） 0、概述  Cocos2dx-win32的專案能夠被嚮導生成    嚮導支援vs2008，vs2010（0.8.0以及之後），visualc++2008 Express（0.8.0以及之後），visualc++ 2010 Express（0.8.0以及之後） 1、 Python使用OCR技術識別圖片中的文字（入門篇） 首先下載並安裝tesseract-ocr軟體，然後使用pip install pytesseract和pip install pillow安裝擴充套件庫。 接下來準備一個圖片，裡面寫點文字，例如： 測試程式碼： 從測試結果來看，即使是圖片中只包含英文，識別率也不是百分之百的準確，但是已經不錯了，後面 Ubuntu14.04下C++程式編輯、編譯、執行入門篇 初次接觸Ubuntu，一腦子的糊塗，更別提如何在Ubuntu下編譯執行C++程式了，經過查資料，下面是自己在Ubuntu下寫的第一個C++程式，僅供初學者參考，也為自己的入門學習梳理下思路。 1、輸入組合鍵“Ctrl+Alt+t”調出終端； 2、需要在當前目錄下建立一個.c 前端要以正確的姿勢學習編譯原理（上篇） webp 法規 怎麽 ref port java 編輯器 等於 都沒有 轉自：https://zhuanlan.zhihu.com/p/36301857 前言 最近在我的 timline 上面出現了很多類似《前端為什麽要學編譯原理》這類文章以及《前端怎麽學AST》 Java中的IO流 - 入門篇 前言 大家好啊，我是湯圓，今天給大家帶來的是《Java中的IO流-入門篇》，希望對大家有幫助，謝謝   由於Java的IO類有很多，這就導致我剛開始學的時候，感覺很亂，每次用到都是上網搜，結果每次用完就忘； 後來沉下心去看書學習，才明白都是有規律的； 這裡先做個簡單的介紹，作為入門級教程，後面還有很 Java中的對映Map - 入門篇 ## 前言 大家好啊，我是湯圓，今天給大家帶來的是《Java中的對映Map - 入門篇》，希望對大家有幫助，謝謝 ## 簡介 前面介紹了集合List，這裡開始簡單介紹下對映`Map`，相關類如下圖所示 ，[對映Map](https://mp.weixi Spring Boot 入門篇 (一) 使用Intellij中的Spring Initializr來快速構建Spring Boot/Cloud工程 使用idea 構建 springboot 專案 原文地址：使用Intellij中的Spring Initializr來快速構建Spring Boot/Cloud工程 在之前的所有Spring Boot和Spring Cloud相關博文中，都會涉及Spring Boot工程的建立。而建立的方式 Spring Boot 入門篇 (一) 使用Intellij中的Spring Initializr來快速構建Spring Boot/Cloud工程 使用idea 構建 springboot 專案 在之前的所有Spring Boot和Spring Cloud相關博文中，都會涉及Spring Boot工程的建立。而建立的方式多種多樣，我們可以通過Maven來手工構建或是通過腳手架等方式快速搭建，也可以通過《Spring 工程中的編譯原理 -- Mapfile解析器 前言 Mapfile是MapServer用來描述一個地圖的配置檔案。它是一個很簡單的宣告式語言，一個地圖（Map）可以有多個層（Layer），每個層可以有很多屬性（鍵值對）。在一個層的定義中，還可以定義若干個類（Class），這個類用以管理不同的樣式（Style）。 編譯原理入門篇|一篇文章理解編譯全過程 # 編譯過程 ## 編譯目標 目標：把原始碼變成目的碼 1.如果原始碼在作業系統上執行：目的碼就是“彙編程式碼”。再通過彙編和連結的過程形成可執行檔案，然後通過載入器載入到作業系統執行。 2.如果原始碼在虛擬機器(直譯器)上執行：目的碼就是“直譯器可以理解的中間形式的程式碼”，比如位元組碼(中間程式碼 《Java從入門到放棄》入門篇：spring中IOC的註入姿勢 java ioc spring IOC到底是個什麽東東呢？控制反轉（Inversion of Control，英文縮寫為IoC），其實就是這個東東。你隨便百度一下就會得到比較書面的解釋：通過引入實現了IoC模式的IoC容器，即可由IoC容器來管理對象的生命周期、依賴關系等，從而使得應用程序的配置和 《Java從入門到放棄》入門篇：hibernate中的多表對應關系 java hibernate onetomany hibernate中的對應關系其實就是數據庫中表的對應關系，就跟某些電影中的某些場景是一樣一樣滴。比如可以是一男一女，還可以是一男多女，更可以是多男一女，最後最後最後還可以是多男多女！！！有些不純潔的看官肯定已經開始想歪了吧···，我還是上圖吧！請 《Java從入門到放棄》入門篇：hibernate中的多表對應關系（二） 文件中 nas join upx proxy n2n pla sta int 前一篇講完了一對多的關系，通過與JDBC對比應該能發現，是不是比JDBC簡單了很多？ 我們只需要把對象只間的包含或對應關系理清楚，完全不用我們自己來寫SQL語句。所以使用hibernate框架後， 編譯生成C++導出函數dll，並在C#工程中測試 lec ces 說明 cnblogs c# point article span targe 編譯生成過程： 1.建立dll工程 選擇新建visual C++的 這兩個類型工程，都會出現下面界面，在這裏設置生成dll： 2.設置項目： 項目屬性中設置： 3.相 CoreCLR源碼探索(七) JIT的h5牛牛源碼出售工作原理(入門篇) 流程實例 算法和數據結構 www ... ext 結構 cal space net 很多C#的初學h5牛牛源碼出售Q1446595067官網：h5.haozibbs.com者都會有這麽一個疑問, .Net程序代碼是如何被機器加載執行的? 最簡單的解答是, C#會通過編譯器( 嵌入式 入門篇 - 第5章 STM32新建工程及配置 為什麽 .net .cn 預編譯 點擊 自定義 new 文件拷貝 。。 5.1 新建文件 5.1.1 新建文件夾 在 STM32-Template 文件夾下，我們新建四個文件夾，分別為DIF、Doc、Listing、Output、User。其中DIF中包含兩個文件夾CMSI Python基礎（4）：python中的特性入門篇（索引，切片，連線，重複，成員操作符） 在介紹列表的時候發現，有一些特性沒有提前解釋，而穿插在其中又會略顯重複和雜亂，索性在這裡來個總結。 接觸python的人不難了解到一個詞：高階特性。 其實內容並不高深，因為高階特性的產生，就是為了讓程式碼更簡介。 以下先介紹簡單的：索引，切片，連線，重複，成員操作符，以及其應用物件。 &nb 入門案例 - maven工程中ssm的整合 我們可以通過一個簡單的功能需求: 在頁面輸入一個 id , 頁面跳轉並返回該 id 對應的 item 明細 來實現 maven 工程中 ssm 的整合.   首先,要做的是配置相關環境(資料庫模板匯入 maven工程的建立等) 一. 資料庫模板匯入 1. 開啟資料庫(我將使