file_regEx_mysql_io

desc: 從txt檔案中讀取字串，通過正則表示式提取關鍵字，並插入mysql資料庫的一個小demo.

前言

​ 因為最近公司需要用到攜程上面的一些酒店資料，由於沒有接觸過爬蟲，所以只能投機取巧去爬html原始檔的程式碼，然後在原始碼裡面提取酒店的資料。

​ 大概畫風如下：

​ 一開始想想既然都是div,那就可以直接通過javascript中的DOM操作，來直接獲取div元素中的屬性值，然後將屬性值傳遞輸出到body元素中，把屬性直接打在頁面上，然後通過excel批量插入，再直接轉移到navicat上插入資料庫即可。

Javascript方法

1. javascript的DOM操作

<script type="text/javascript">
window.onload = function(){ 
//function getHasTitles(parentNode) {
    var allNodes = document.getElementsByTagName('div');
    var length = allNodes.length;
    var i;
    var hasTitles = [];
    var node;
    // for (i = 0; i < length; i++) {
    //     node = allNodes[i];
    //     if (node.title) {
    //         //hasTitles.push(node);
    //         console.log(node.getAttribute('title'));
    //     }
    var str;
    var a='';
          for(var i=0; i<length ;i++){
              
              node = allNodes[i];
            //  if (node[data-value]) {
             //hasTitles.push(node);
              a = node.getAttribute('data-value');
              str += '<div>'+a+'</div>'; //拼接str
         // }
          
    }
    for(var i=0; i<length ;i++){
              
              node = allNodes[i];
            //  if (node[data-value]) {
             //hasTitles.push(node);
              a = node.getAttribute('data-brandtype');
              str += '<div>'+a+'</div>'; //拼接str
         // }
          
    }
    document.getElementById('container').innerHTML=str;
    //return hasTitles;
}
​
/*var hasTitles = getHasTitles(document);
for (var i = 0; i < hasTitles.length; i++) {
    console.log(hasTitles[i].getAttribute('id'));
}*/
//}
</script>
 

2. 在html檔案中獲取所需要的屬性

3. 然後將資料批量複製插入excel表格中

4. 最後直接將excel表格直接批量複製到navicat中實現批量插入處理

Java方法

​ 做人說到底還是向惰性屈服，現在又覺得好像上面需要用excel做中轉很麻煩，想想用一下正則表示式來逐行讀取文字，然後提取關鍵資訊插入mysql資料庫，一步到位，想想都有點小激動。

1. 讀取文字然後通過正則表示式過濾出關鍵資訊

public class cin_txt {  
    public static void main(String args[]) {  
        
        try { // 防止檔案建立或讀取失敗，用catch捕捉錯誤並列印，也可以throw  
  
            //讀入TXT檔案  
            String pathname = "beijing.txt"; // 絕對路徑或相對路徑都可以，這裡是絕對路徑，寫入檔案時演示相對路徑  
            File filename = new File(pathname); // 要讀取以上路徑的input.txt檔案  
            InputStreamReader reader = new InputStreamReader(  
                    new FileInputStream(filename)); // 建立一個輸入流物件reader  
            BufferedReader br = new BufferedReader(reader); // 建立一個物件，它把檔案內容轉成計算機能讀懂的語言  
            String line = "";  
            line = br.readLine();  
            while (line != null) {  
                line = br.readLine(); // 一次讀入一行資料  
                if(line != null) {
                //String regEx = "(?=[\\s\\S]*?)(\\[smiley=[0-9]+\\])(?=[\\s\\S]*?)";
                //String regEx ="data-value='([0-9]+)'([\\s\\S]*?)title='([\\u4e00-\\u9fa5_a-zA-Z0-9]+)'";
                String regEx ="data-value='([0-9]+)'([\\s\\S]*?)title='([\\S]+)'";  
                //String str = "adfasdf[smiley=4]kk [smiley=1]   mko[smiley=2],sdfaasdfa fd";
                //String str = "<div data-dopost='T' data-type='brand' data-value='1085' id='brand-1085' data-brandtype='0' title='Q加' class='optionList-item  '>Q加</div>";
                Pattern pat = Pattern.compile(regEx);
                Matcher mat = pat.matcher(line);
                while(mat.find()){
                    Dao.add(mat.group(1),mat.group(3));
                }
                }
            }  
            br.close();
            System.out.println("插入成功");
        } catch (Exception e) {  
            e.printStackTrace();  
        }  
    }  
}  
 

2. 連線mysql，插入關鍵字

public class Dao {
    private static final String USER = "root";
    private static final String PASSWD = "123456";
    private static final String URL = "jdbc:mysql://localhost:3306/data?useUnicode=true&characterEncoding=utf8&serverTimezone=GMT%2B8&useSSL=false";
    
    public static void add(String value,String title) throws SQLException {
        //  1、註冊資料庫的驅動,使用反射註冊驅動
        try {
            Class.forName("com.mysql.cj.jdbc.Driver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        }
        Connection connection = null;
         //2、獲得資料庫的連線訪問許可權
        try {
            connection = DriverManager.getConnection(URL, USER, PASSWD);
        } catch (SQLException e) {
            e.printStackTrace();
        }
         //3、向資料庫傳送執行的SQL執行語句
        PreparedStatement pstmt;
        
            String sql = "insert into hotel_brand_test(brand_value,title) Values(?,?) ";
            pstmt = (PreparedStatement) connection.prepareStatement(sql);
            pstmt.setString(1, value);
            pstmt.setString(2, title);
            pstmt.executeUpdate();
         //5、關閉資料庫連線
         try {
            pstmt.close();
            connection.close();
        } catch (SQLException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }       
    }
}
​

3. 大功告成