2. 程式人生 > >筆記-爬蟲-js程式碼解析

筆記-爬蟲-js程式碼解析

阿新 • • 發佈：2018-11-22

筆記-爬蟲-js程式碼解析

 

1.      js程式碼解析

1.1.    前言

在爬取網站時經常會有js生成關鍵資訊，而且js程式碼是混淆過的。

以瓜子二手車為例，直接請求https://www.guazi.com/bj/buy/會返回一個203狀態大小為5324的包，核心是js程式碼。

它負責生成cookie及跳轉，想要初始cookie，就需要解決它或繞過它。 

        <!DOCTYPE html>

        <html lang="en">

            <head>

                <meta charset="utf-8">

                <script type="text/javascript">

                    eval(fuas';var url='';xredirect(name,value,url,'https://');

　　　　　　//js原始碼，很長一段，刪除了大部分

                </script>

            </head>

            <body>

            <p>正在開啟中,請稍後...<e style='float:right'>2018-11-22 12:05:37</e><p>

            </body>

        </html>

 

1.2.    解析/除錯

最簡單的除錯，建立一個test.html檔案，程式碼如下，使用chrome開啟。

就付一般爬蟲場景夠用了。

        <!DOCTYPE html>

        <html lang="en">

            <head>

                <meta charset="utf-8">

                <script type="text/javascript">

                   

                                   document.write(xredirect)

                                   document.write(anti)

                </script>

            </head>

            <body>

            <p>正在開啟中,請稍後...<e style='float:right'>2018-11-22 12:05:37</e><p>

            </body>

        </html>

 

其它的主要是對js函式的熟悉程度了；

 

1.3.    JS函式

常見函式

eval() 執行程式碼

function(){}()  函式定義及執行一體

parseInt() 類似於int(45,8)

 

 

2.      一些常見的js程式碼隱藏方式

欲勝則要知已知彼，也得學習一下前端的程式碼加密方式，下面是一些常用的js程式碼加密方式。

1、簡單壓縮

將多行程式碼去除多餘的空根和註釋壓縮成一行程式碼，這樣雖然沒什麼太大的作用，但是對於新手來說閱讀起來就會有些難度了。

比如：

1

2

3

4

5

6

7

8

function getCookie(name) {

    var preg = new RegExp("(^| )" + name + "=([^;]*)(;|$)", "g");

    if (preg.test(document.cookie)) {

        return RegExp.$2;

    } else {

        return "";

    }

}

壓縮後：

function getCookie(name){var preg=new RegExp("(^| )"+name+"=([^;]*)(;|$)","g");if(preg.test(document.cookie)){return RegExp.$2}else{return""}}

 

2、程式碼混淆

將程式碼中的變數重新命名成其他不規則變數，將程式碼中的中文轉換成unicode編碼或者16進位制程式碼降低可閱讀性。

1

function getCookie(b){var c=new RegExp("(^| )"+b+"=([^;]*)(;|$)","g");if(preg.test(document.cookie)){return RegExp.$2}else{return""}}

 

3、簡單加密

將程式碼換轉換成eval方式，這樣子就完全沒有之前程式碼的樣子了，只能通過一些關鍵詞或者函式名來查詢。

1

eval(function(p,a,c,k,e,d){e=function(c){return(c<a?"":e(parseInt(c/a)))+((c=c%a)>35?String.fromCharCode(c+29):c.toString(36))};if(!''.replace(/^/,String)){while(c--)d[e(c)]=k||e(c);k=[function(e){return d[e]}];e=function(){return'\\w+'};c=1;};while(c--)if(k)p=p.replace(new RegExp('\\b'+e(c)+'\\b','g'),k);return p;}('9 7(3){8 1=6 0("(^| )"+3+"=([^;]*)(;|$)","5");b(1.e(c.a)){4 0.$2}d{4""}}',15,15,'RegExp|preg||name|return|g|new|getCookie|var|function|cookie|if|document|else|test'.split('|'),0,{}))

當然這種方式很簡單就可以被解密。

 

4、base64加密配合eval來加密。

比如說：

1

alert(1);

這種寫法一眼就看懂了，那如果換一種寫法呢？

1

eval(atob('YWxlcnQoMSk7'));

這是什麼鬼？其實YWxlcnQoMSk7就是alert(1);經過base64加密後的密文，atob就是將YWxlcnQoMSk7還原成alert(1);然後再丟給eval去執行，atob是瀏覽器內建函式，用於解密base64密文，與之對應的還有btoa，用於將一個字串加密成base64密文。

 

5、進階加密

就是綜合使用了壓縮，混淆等方式進行的加密。

比如還是用文章開始那段setCookie的程式碼，加密後：

1

function getCookie(jvA1){var LQuH2=new window["\x52\x65\x67\x45\x78\x70"]("\x28\x5e\x7c \x29"+jvA1+"\x3d\x28\x5b\x5e\x3b\x5d\x2a\x29\x28\x3b\x7c\x24\x29","\x67");if(LQuH2['\x74\x65\x73\x74'](window["\x64\x6f\x63\x75\x6d\x65\x6e\x74"]['\x63\x6f\x6f\x6b\x69\x65'])){return window["\x52\x65\x67\x45\x78\x70"]['\x24']2}else{return""}}

接下來介紹幾個比較另類的隱藏程式碼的方式：

 

6、jsFuck

僅使用6種符號來編寫程式碼，(，)，+，[，]，!

比如：

1

alert(1)

加密後：

1

[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]][([][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]]+[])[!+[]+!+[]+!+[]]+(!![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+[]]]+([][[]]+[])[+!+[]]+(![]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+[]]+(!![]+[])[+!+[]]+([][[]]+[])[+[]]+([][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+[]]+(!![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+[]]]+(!![]+[])[+!+[]]]((!![]+[])[+!+[]]+(!![]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+[]]+([][[]]+[])[+[]]+(!![]+[])[+!+[]]+([][[]]+[])[+!+[]]+(+[![]]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+!+[]]]+(!![]+[])[!+[]+!+[]+!+[]]+(+(!+[]+!+[]+!+[]+[+!+[]]))[(!![]+[])[+[]]+(!![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+[]]]+([]+[])[([][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]]+[])[!+[]+!+[]+!+[]]+(!![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+[]]]+([][[]]+[])[+!+[]]+(![]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+[]]+(!![]+[])[+!+[]]+([][[]]+[])[+[]]+([][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+[]]+(!![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+[]]]+(!![]+[])[+!+[]]][([][[]]+[])[+!+[]]+(![]+[])[+!+[]]+((+[])[([][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]]+[])[!+[]+!+[]+!+[]]+(!![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+[]]]+([][[]]+[])[+!+[]]+(![]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+[]]+(!![]+[])[+!+[]]+([][[]]+[])[+[]]+([][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+[]]+(!![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[+!+[]+[+[]]]+(!![]+[])[+!+[]]]+[])[+!+[]+[+!+[]]]+(!![]+[])[!+[]+!+[]+!+[]]]](!+[]+!+[]+!+[]+[!+[]+!+[]])+(![]+[])[+!+[]]+(![]+[])[!+[]+!+[]])()((![]+[])[+!+[]]+(![]+[])[!+[]+!+[]]+(!![]+[])[!+[]+!+[]+!+[]]+(!![]+[])[+!+[]]+(!![]+[])[+[]]+([][[]]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[!+[]+!+[]+[!+[]+!+[]]]+[+!+[]]+([+[]]+![]+[][(![]+[])[+[]]+([![]]+[][[]])[+!+[]+[+[]]]+(![]+[])[!+[]+!+[]]+(![]+[])[!+[]+!+[]]])[!+[]+!+[]+[+[]]])

加密的連他爹媽都很難認識了，雖然比較奇葩，但是如果你將上述程式碼拷貝到瀏覽器控制檯執行，會得到一個彈窗。缺點加密出來的程式碼超級長。

線上加密工具點選這裡

 

7、顏文字解密

將js程式碼轉換成表情符號

還是alert(1);

加密後：

1

ﾟωﾟﾉ= /｀ｍ´）ﾉ ~┻━┻   //*´∇｀*/ ['_']; o=(ﾟｰﾟ)  =_=3; c=(ﾟΘﾟ) =(ﾟｰﾟ)-(ﾟｰﾟ); (ﾟДﾟ) =(ﾟΘﾟ)= (o^_^o)/ (o^_^o);(ﾟДﾟ)={ﾟΘﾟ: '_' ,ﾟωﾟﾉ : ((ﾟωﾟﾉ==3) +'_') [ﾟΘﾟ] ,ﾟｰﾟﾉ :(ﾟωﾟﾉ+ '_')[o^_^o -(ﾟΘﾟ)] ,ﾟДﾟﾉ:((ﾟｰﾟ==3) +'_')[ﾟｰﾟ] }; (ﾟДﾟ) [ﾟΘﾟ] =((ﾟωﾟﾉ==3) +'_') ;(ﾟДﾟ) ['c'] = ((ﾟДﾟ)+'_') [ (ﾟｰﾟ)+(ﾟｰﾟ)-(ﾟΘﾟ) ];(ﾟДﾟ) ['o'] = ((ﾟДﾟ)+'_') [ﾟΘﾟ];(ﾟoﾟ)=(ﾟДﾟ) ['c']+(ﾟДﾟ) ['o']+(ﾟωﾟﾉ +'_')[ﾟΘﾟ]+ ((ﾟωﾟﾉ==3) +'_') [ﾟｰﾟ] + ((ﾟДﾟ) +'_') [(ﾟｰﾟ)+(ﾟｰﾟ)]+ ((ﾟｰﾟ==3) +'_') [ﾟΘﾟ]+((ﾟｰﾟ==3) +'_') [(ﾟｰﾟ) - (ﾟΘﾟ)]+(ﾟДﾟ) ['c']+((ﾟДﾟ)+'_') [(ﾟｰﾟ)+(ﾟｰﾟ)]+ (ﾟДﾟ) ['o']+((ﾟｰﾟ==3) +'_') [ﾟΘﾟ];(ﾟДﾟ) ['_'] =(o^_^o) [ﾟoﾟ] [ﾟoﾟ];(ﾟεﾟ)=((ﾟｰﾟ==3) +'_') [ﾟΘﾟ]+ (ﾟДﾟ) .ﾟДﾟﾉ+((ﾟДﾟ)+'_') [(ﾟｰﾟ) + (ﾟｰﾟ)]+((ﾟｰﾟ==3) +'_') [o^_^o -ﾟΘﾟ]+((ﾟｰﾟ==3) +'_') [ﾟΘﾟ]+ (ﾟωﾟﾉ +'_') [ﾟΘﾟ]; (ﾟｰﾟ)+=(ﾟΘﾟ); (ﾟДﾟ)[ﾟεﾟ]='\\'; (ﾟДﾟ).ﾟΘﾟﾉ=(ﾟДﾟ+ ﾟｰﾟ)[o^_^o -(ﾟΘﾟ)];(oﾟｰﾟo)=(ﾟωﾟﾉ +'_');(ﾟДﾟ) [ﾟoﾟ]='\"';(ﾟДﾟ) ['_'] ( (ﾟДﾟ) ['_'] (ﾟεﾟ+(ﾟДﾟ)[ﾟoﾟ]+ (ﾟДﾟ)[ﾟεﾟ]+(ﾟΘﾟ)+ (ﾟｰﾟ)+ (ﾟΘﾟ)+ (ﾟДﾟ)[ﾟεﾟ]+(ﾟΘﾟ)+ ((ﾟｰﾟ) + (ﾟΘﾟ))+ (ﾟｰﾟ)+ (ﾟДﾟ)[ﾟεﾟ]+(ﾟΘﾟ)+ (ﾟｰﾟ)+ ((ﾟｰﾟ) + (ﾟΘﾟ))+ (ﾟДﾟ)[ﾟεﾟ]+(ﾟΘﾟ)+ ((o^_^o) +(o^_^o))+ ((o^_^o) - (ﾟΘﾟ))+ (ﾟДﾟ)[ﾟεﾟ]+(ﾟΘﾟ)+ ((o^_^o) +(o^_^o))+ (ﾟｰﾟ)+ (ﾟДﾟ)[ﾟεﾟ]+((ﾟｰﾟ) + (ﾟΘﾟ))+ (c^_^o)+ (ﾟДﾟ)[ﾟεﾟ]+((o^_^o) +(o^_^o))+ (ﾟΘﾟ)+ (ﾟДﾟ)[ﾟεﾟ]+((ﾟｰﾟ) + (ﾟΘﾟ))+ (ﾟΘﾟ)+ (ﾟДﾟ)[ﾟεﾟ]+((ﾟｰﾟ) + (o^_^o))+ (o^_^o)+ (ﾟДﾟ)[ﾟoﾟ]) (ﾟΘﾟ)) ('_');

很詭異吧，但是他真的可以執行，不信可以試試。

線上加密工具點選這裡

除上述的方法外，也有很多很成熟的方案，比如：

1、YUI Compressor

2、Google Closure Compiler

3、UglifyJS

4、JScrambler

我麼也可以選擇將上述程式碼繼承到webpack中，自動為我們加密混淆js程式碼。當然具體場景具體分析，實際開發中還有許多其他的技巧，比如新增一些無用的程式碼來干擾實現，程式碼執行順序等等方面，如果感興趣的可以去找幾個做huichan的網站看看。

幾個線上加密網站：

線上加密工具Javascript線上解壓縮

線上加密工具So JSON Javscript線上加密

 

相關推薦

筆記-爬蟲-js程式碼解析

筆記-爬蟲-js程式碼解析   1.      js程式碼解析 1.1.    前言 在爬取網站時經常會有js生成關鍵資訊，而且js程式碼是混淆過的。 以瓜子二手車為例，直接請求https://www.guaz

爬蟲筆記之JS檢測瀏覽器開發者工具是否打開

change 保留 嚴重 href 調試 表達式 ott gif const 在某些情況下我們需要檢測當前用戶是否打開了瀏覽器開發者工具，比如前端爬蟲檢測，如果檢測到用戶打開了控制臺就認為是潛在的爬蟲用戶，再通過其它策略對其進行處理。本篇文章講述了幾種前端JS檢測開發者

JAVA爬蟲--JS文件數據快速解析

tab cto ade shadow size 輸出 執行 文件的 開源 最近在做一個足球數據爬蟲，連接的是某常用足球比分直播平臺的網站。在抓取的過程中方法很簡單。打開網頁地址，進入開發者模式，查看其數據加載。發現其比分數據是采用獲取平臺js文件的方式從服務器下載下來

小川學習筆記--BP神經網路JAVA程式碼解析

小川學習筆記–BP神經網路JAVA程式碼解析 闊別有些時日了，今天我就寫一篇最近學習BP神經網路JAVA程式碼的一個筆記，我們大家都知道BP神經網路是在上個世紀進行了兩次熱潮，由於反向傳播的發現從而促進了神經網路的發展。由於筆者在本科期間還未學習過JAVA，因此還在學習階段，對於一些程式

JS-預解析（提升）與程式碼執行過程

  1，預解析的過程。 2，程式碼的執行過程。   預解析：程式在執行過程，會先將程式碼讀取到記憶體中檢查，會將所有的宣告在此處進行標記，所謂的標記就是讓js解析器知道這個名字，後面在使用這個名字的時候，不會出現未定義的錯誤，‘這個標記過程就是提升。   ## 宣告：

爬蟲學習筆記第4章.解析庫的使用.1 使用XPath

XPath：全稱XML Path Language（XML路徑語言），一門用於XML 文件中查詢資訊的語言。XPath 用於在 XML 文件中通過元素和屬性進行導航。XPath同樣可以用於HTML的搜尋。 XPath 路徑表示式：XPath 使用路徑表示式來選取

解析js程式碼實現爬取頁面所有的ip地址[面試題]

該網頁只有在重新整理時, 才能顯示後面的頁面, 且頁面會開啟新的頁面, 跳轉時需要的cookies, 由第一個頁面的cookies動態生成. 下面是具體程式碼: import requests import re import lxml.html class ExamSpider

js對程式碼解析機制

JavaScript執行三部曲 指令碼執行js引擎都做了什麼呢？ 1.語法分析 2.預編譯 3.解釋執行 在執行程式碼前，還有兩個步驟 語法分析很簡單，就是引擎檢查你的程式碼有沒有什麼低階的語法錯誤 解釋執行顧名思義便是執行程式碼了 預編譯簡單理解就是在記憶體中開闢一些空間，存放一些變數與函式

js基礎js指令碼程式碼 js預解析

<!DOCTYPE html> <html lang="en"> <head>   <meta charset="UTF-8">   <title>$永遠的24k純帥$</title>   <

js筆記十:vscode程式碼提示

對於開發過程中，如果有函式或屬性提示，可以大大提高效率。對於java,python,C#等語言強型別的編譯型指令碼語言，其對應的IDE都有完備的程式碼。對於C++/C也有比較完善的程式碼提示，而js和l

《重構：改善既有程式碼的設計》-學習筆記二（+實戰解析）

我不是個偉大的程式設計師；我只是個有著一些優秀習慣的好程式設計師而己本人比較直接，不說虛的，直接上乾貨。 目錄　　Long Parameter List（過長引數列）　　Divergent Change（發散式變化）　　Shotgun Surgery（散彈式修改）　　Feat

煎蛋網爬蟲之JS逆向解析img路徑

ces param 得到 exception res lex image pytho pool 圖片使用js onload事件加載 <p><img src="//img.jandan.net/img/blank.gif" onload="jandan_lo

Jsoup學習筆記2：Jsoup解析HTML程式碼標籤與屬性

接著上一篇的Jsoup學習筆記1繼續學習，雖然是轉載自上面連結的文章，但是程式做了一點改動，方便自己以後的檢視 package com.daxiang.myjsoup; import org.jsoup.Jsoup; import org.jsoup.nodes.D

兄弟，你爬蟲基礎這麼好，需要研究js逆向了，一起吧（有完整JS程式碼）

> 這幾天的確有空了，看更新多快，專門研究了一下幾個網站登入中密碼加密方法，比起滑塊驗證碼來說都相對簡單，適合新手js逆向入門，大家可以自己試一下，試不出來了再參考我的js程式碼。篇幅有限，完整的js程式碼在這裡：[從今天開始種樹](http://www.happyhong.cn/download/qi

js預解析

想要 javascrip 解析器 參數傳遞 java 字符 參數 被占用 lar 1. 定義 預解析：在當前作用域下,js運行之前，會把帶有var和function關鍵字的事先聲明，並在內存中安排好。然後再從上到下執行js語句。 預解析只會發生在通過var定義的變量和fun

Node.js具體解析

started 沒有 監聽 網絡服務 hub 消息隊列 text 數據推送 rest api 介紹 JavaScript 高漲的人氣帶來了非常多變化。以至於現在使用其進行網絡開發的形式也變得截然不同了。就如同在瀏覽器中一樣，現在我們也能夠在server上執行 Jav

vue.js 源代碼學習筆記 ----- helpers.js

red stat delet prop pre != help cap nbu /* @flow */ import { parseFilters } from ‘./parser/filter-parser‘ export function baseWarn (ms

js中解析json時候的eval和$.parseJSON()的區別以及JSON.stringify()

對話 {} alert tle 用戶 sdn clas div 轉換成 1.第一個區別是：安全性 json格式非常受歡迎，而解析json的方式通常用JSON.parse()但是eval()方法也可以解析，這兩者之間有什麽區別呢？ JSON.parse

筆記：js疑難復習

.html new his spa 測試 type var 需要 apply apply 和 call的區別 call 和 apply 的區別只在於這兩個函數接受的參數形式不同 var Person = function(name,age){ this.nam

js的解析順序 作用域 嚴格模式

步驟 就會 function 介紹 知識 bsp 建議 作用域 嚴格模式 一、javascript的解析順序 　　我們大家所理解的代碼的執行順序都是從上到下的，但是實際上確不是這樣的。我們看一下下面的代碼。 　　 1 alert(a); 2 var a = 1; 　　如