微信跳一跳自動執行程式碼剖析
阿新 • • 發佈:2019-02-20
手動版的這裡不多說,影象識別,座標計算跳躍,要想得高分會點的手疼。這裡主要剖析下自動版的,介於本窮屌絲只有安卓機,這裡僅介紹安卓版本。
整體的結構
指令碼的整體結構還是比較簡潔的,如下圖所示。
- 手機連線PC,PC通過adb命令對手機遊戲介面進行截圖;
- PC通過adb命令將該截圖拷貝回PC;
- PC端通過python對影象進行處理(第一版中使用的opencv,目前使用的是直接讀取畫素的rgb值),獲取棋子的位置,獲取下一個棋盤的位置,然後計算出下一跳的距離,從而根據經驗值計算出按壓時間t;
- 通過adb命令模擬按壓時間t即可實現棋子的跳躍;
- 重複1~4就可以自動化執行“跳一跳”遊戲。
安卓手機螢幕座標
程式碼剖析
主函式程式碼
def main():
#獲取裝置資訊
dump_device_info()
#檢查adb
check_adb()
#主迴圈
while True:
#通過adb截圖,並將圖片拷貝回PC
pull_screenshot()
#將圖片載入進記憶體
im = Image.open('./autojump.png')
# 獲取棋子和 board 的位置
piece_x, piece_y, board_x, board_y = find_piece_and_board(im)
#列印除錯資訊
ts = int(time.time())
print(ts, piece_x, piece_y, board_x, board_y)
#將按壓的位置設定為【再來一局】的位置,這樣失敗的時候可以自動開始
set_button_position(im)
#計算下一跳的距離,根據經驗值轉換為時間,並通過adb下發給裝置模擬按壓
jump(math.sqrt((board_x - piece_x) ** 2 + (board_y - piece_y) ** 2))
#對除錯介面進行截圖,方便除錯。並將除錯截圖進行備份
save_debug_creenshot(ts, im, piece_x, piece_y, board_x, board_y)
backup_screenshot(ts)
# 為了保證截圖的時候應落穩了,多延遲一會兒
time.sleep(random.uniform(1, 1.1))
通過adb下發截圖命令,並將截圖拷貝回PC,這裡直接使用了adb命令,不多解釋。
def pull_screenshot():
os.system('del autojump.png')
os.system('adb shell screencap -p /sdcard/autojump.png')
os.system('adb pull /sdcard/autojump.png .')
計算座標
find_piece_and_board函式為核心程式碼,這裡主要做了兩件事情:一是計算棋子的位置;二是計算下一個棋盤的位置。下面挑主要程式碼說。
1.查詢棋子的位置座標
#這裡是在簡單地查詢下範圍,其實不加也行,但是將整個螢幕遍歷一遍太浪費時間,作者做了兩件事情
#1.先查詢螢幕1/3~2/3範圍,自上而下
#2.查詢與背景顏色不同的點就停止,說明從這個高度開始下面的畫素點可能就是棋子或底座
for i in range(int(h / 3), int( h*2 /3 ), 50):
last_pixel = im_pixel[0,i]
for j in range(1, w):
pixel=im_pixel[j,i]
#不是純色的線,則記錄scan_start_y的值,準備跳出迴圈
#pixel陣列中的0 1 2分別是RGB三色值,只要存在一個不相同說明該點不是背景顏色
if pixel[0] != last_pixel[0] or pixel[1] != last_pixel[1] or pixel[2] != last_pixel[2]:
#向上退回50個畫素,以免上面的這個高度不是最上面的不同畫素點
scan_start_y = i - 50
break
#跳出迴圈
if scan_start_y:
break
#作者開始接著上面的點自上而下詳細遍歷
# 從scan_start_y開始往下掃描,棋子應位於螢幕上半部分,這裡暫定不超過2/3
for i in range(scan_start_y, int(h * 2 / 3)):
# 橫座標去除一定的邊界,然後開始遍歷,節省了一部分時間
for j in range(scan_x_border, w - scan_x_border):
#取出該座標上的座標點
pixel = im_pixel[j,i]
#這裡是查詢棋子的最低一行,根據顏色進行判別,RGB的範圍作者是事先取好的
# 根據棋子的最低行的顏色判斷,找最後一行那些點的平均值,這個顏色這樣應該 OK,暫時不提出來
if (50 < pixel[0] < 60) and (53 < pixel[1] < 63) and (95 < pixel[2] < 110):
#畫素點的橫座標值之和,因為棋子是對稱的,這些橫座標的平均值就是棋子的中心位置
piece_x_sum += j
piece_x_c += 1
#棋子最低點所處的位置
piece_y_max = max(i, piece_y_max)
#如果其中有一個為0,則直接返回異常
if not all((piece_x_sum, piece_x_c)):
return 0, 0, 0, 0
#平均得到棋子的橫座標
piece_x = piece_x_sum / piece_x_c
#棋子的最低點並不是棋子所在的中心位置,需要補償一定的值,這個值就是棋子底盤的高度一半
piece_y = piece_y_max - piece_base_height_1_2
2.查詢下一跳底盤的座標
#同樣,查詢縮小查詢範圍,只查詢螢幕1/3~2/3範圍之內的
for i in range(int(h / 3), int(h * 2 / 3)):
#取邊界上的座標作為上一次座標初始值。該變數的作用是判斷畫素是否變化,如果變化則進入了底座畫素
last_pixel = im_pixel[0, i]
#如果計算得到了座標,跳出迴圈
if board_x or board_y:
break
#與查詢棋子型別,底座也是對稱的,則畫素點橫座標的平均值就是底座的中心點
board_x_sum = 0
board_x_c = 0
#開始查詢底座,橫向掃描
for j in range(w):
#取出一個畫素點
pixel = im_pixel[j,i]
# 修掉腦袋比下一個小格子還高的情況的 bug
if abs(j - piece_x) < piece_body_width:
continue
#畫素點的RGB值發生了變化,則說明進入了底座畫素區域
# 修掉圓頂的時候一條線導致的小 bug,這個顏色判斷應該 OK,暫時不提出來
if abs(pixel[0] - last_pixel[0]) + abs(pixel[1] - last_pixel[1]) + abs(pixel[2] - last_pixel[2]) > 10:
board_x_sum += j
board_x_c += 1
#計算底座的橫座標
if board_x_sum:
board_x = board_x_sum / board_x_c
#下一個底座是在當前底座的30度方向,所以根據上面計算出的橫座標可以計算出底座的縱座標
# 按實際的角度來算,找到接近下一個 board 中心的座標 這裡的角度應該是30°,值應該是tan 30°, math.sqrt(3) / 3
board_y = piece_y - abs(board_x - piece_x) * math.sqrt(3) / 3
#如果有一個值為空,返回異常
if not all((board_x, board_y)):
return 0, 0, 0, 0
進行跳躍
知道當前座標和下一跳的座標,則可以計算出兩點間的距離。
math.sqrt((board_x - piece_x) ** 2 + (board_y - piece_y) ** 2)
然後將該值傳給跳躍函式即可
#該函式由距離根據經驗值計算出按壓時間
def jump(distance):
press_time = distance * press_coefficient
press_time = max(press_time, 200) # 設定 200 ms 是最小的按壓時間
press_time = int(press_time)
#通過adb傳輸模擬按壓命令
cmd = 'adb shell input swipe {x1} {y1} {x2} {y2} {duration}'.format(
x1=swipe['x1'],
y1=swipe['y1'],
x2=swipe['x2'],
y2=swipe['y2'],
duration=press_time
)
print(cmd)
os.system(cmd)