(編譯原理)java實現詞法分析器
1、閒話
最近在學編譯原理,需要用語言實現一個詞法分析器,其實挺簡單的,主要涉及一些語言字串操作處理,如果會正則表示式的話,感覺實現這個會很簡單,但是我並不會啊,然後自己用java實現了,也算是加強了對java的一些字元操作方法的使用。
實現這個分析器,演算法上基本上沒什麼難度,但是其中涉及的一些邏輯上的思考,說白了就是這麼多種情況,有寫情況還有交叉部分,你怎麼讓自己不繞進去,並且用程式碼實現自己的對這個問題思路。
那麼閒話就說到這,具體我怎麼想的,怎麼處理的看下面
2、問題要求
一、 實驗目的
設計、編制並除錯一個詞法分析程式,加深對詞法分析原理的理解。
二、 實驗內容
2.1 待分析的簡單詞法
(1)關鍵字:所有的關鍵字都是小寫
begin if then while do end
- (2)運算子和界符
- := + - * / < <= <> > >= = ; ( ) #
(3)其他單詞是識別符號(ID)和整型常數(NUM),通過以下正規式定義:
ID = letter (letter | digit)*
NUM = digit digit*
(4)空格有空白、製表符和換行符組成。空格一般用來分隔ID、NUM、運算子、界符和關鍵字,詞法分析階段通常被忽略。
2.2 各種單詞符號對應的種別碼:
2.3 詞法分析程式的功能:
輸入:所給文法的源程式字串。
輸出:二元組(syn,token或num)構成的序列。
其中:syn為單詞種別碼;
token為存放的單詞自身字串;
num為整型常數。
例如:對源程式begin x:=9; if x>9 then x:=2*x+1/3; end #的原始檔,經過詞法分析後輸出如下序列:
(1,begin) (10,x) (18,:=) (11,9) (26,;) (2,if)……
3、思維導圖
先上思維導圖, 根據思維導圖看看我是怎麼想這個問題的。
4、程式碼實現
關鍵程式碼:
/**
* 將按間隔符分好的list進行判斷,判斷是否是合法的子串
* @param list
* @return
*/
@SuppressWarnings("rawtypes")
public List<Map> GetStringAndSortNum(String[] list) {
char firstChar;//用於記錄第一個首字元
String keyword="",sortNum="";//需要輸出返回的關鍵字,種別碼
String cType,word;//第一個首字元的型別
//mlist用於返回整個List判斷完成後的含有的字元和種別碼
List<Map> mList=new ArrayList<Map>();
for(int i=0;i<list.length;i++){
Map<String,String>map=new HashMap<String,String>();//m用於儲存最後返回的已經判別成功的字和種別碼
//word代表需要進行處理判斷的字
word=list[i];
//判斷word是不是空的串,因為有可能根據空格分割的串中有空的換行符或者空串,不進行處理
if(word==""||word==null||word.trim()=="")continue;
firstChar=word.charAt(0);
//獲取這個字元的型別
cType=GetCharType(firstChar);
if(cType=="letter"){
if(firstChar=='w'||firstChar=='i'||firstChar=='b'||firstChar=='d'||firstChar=='e'||firstChar=='t'){
//獲得keyword詞
Map<String,String>m=new HashMap<String,String>();//m用於儲存最後返回的已經判別成功的字和種別碼
m=GetKeyWord(word);
//取出m的值,如果是關鍵字
if(m!=null){
keyword=m.get("keyword");
sortNum=m.get("sortNum");
}
//不是關鍵字,但是包含關鍵字的前一個字串
else{
if(IsID(word)){
keyword=word;
sortNum=g.getSortNum("ID")+"";
}
else{
System.out.println("這個"+word+"不是合法的ID字元,所在的位置在:第"+(i+1)+"個單詞");
}
}
}
else{//首字母為字元,但是需要進一步判斷是不是合法的ID
if(IsID(word)){
keyword=word;
sortNum=g.getSortNum("ID")+"";
}
else{
System.out.println("這個"+word+"不是合法的ID字元,所在的位置在:第"+(i+1)+"個單詞");
}
}
}
if(cType=="digit"){
if(IsNum(word)){
keyword=word;
sortNum=g.getSortNum("NUM")+"";
}
else{
System.out.println("這個"+word+"不是合法的NUM字元,所在的位置在:第"+(i+1)+"個單詞");
}
}
if(cType=="opts"){
//獲取這個word的長度,如果是一個進行單運算子的判斷,如果是2進行多運算子的判斷
int len=word.length();
if(len==1){
if(IsSingleOpt(word)){
keyword=word;
sortNum=g.getSortNum(word)+"";
}
else if(IsEndOpt(word)){
keyword=word;
sortNum=g.getSortNum(word)+"";
}
else{
System.out.println("這個"+word+"不是合法的NUM字元,所在的位置在:第"+(i+1)+"個單詞");
}
}
else if(len==2){
if(IsDoubleOpt(word)){
keyword=word;
sortNum=g.getSortNum(word)+"";
}
else{
System.out.println("這個"+word+"不是合法的NUM字元,所在的位置在:第"+(i+1)+"個單詞");
}
}
else{
System.out.println("這個"+word+"不是合法的NUM字元,所在的位置在:第"+(i+1)+"個單詞");
}
}
if(keyword.equals("")||sortNum.equals("")||keyword==""||sortNum=="")
continue;
else{
map.put("keyword", keyword);
map.put("sortNum", sortNum);
mList.add(map);
keyword="";
sortNum="";
}
}
return mList;
}
程式碼實現後的執行效果:
測試用的檔案:
begin x := 9 ; if x > 9 then x := 2 * x + 1 / 3
x = 3 ;
begin
$y := 2
if x == $y :
y = qqwe221 ;
其實看起來很複雜的一個詞法分析器,當真正借組思維導圖或者其他的流程圖表示出來的時候,實現思路在腦子裡就會很清晰,自己下一步要幹嘛,怎麼實現,當自己想到這些的時候,可以用自己喜歡的形式記錄下來,這樣實現起來就只需要用程式碼把自己的思路復現即可。
養成一種程式設計的習慣有時候比掌握一門語言對自己更有利。
本詞法分析器的原始碼和測試檔案均放在github上,需要的請自行進行檢視。
https://github.com/Ashplumage/Compile-principle