1. 程式人生 > 其它 >Android 編譯速度提升黑科技 - RocketX

Android 編譯速度提升黑科技 - RocketX

怎麼做編譯優化,當時說了個方案,就是編譯時將所有的模組依賴修改為 aar,然後每次編譯將變動的模組改成原始碼依賴,同時編譯完成再將修改模組上傳為 aar,這樣可以始終做到僅有最少的模組參與原始碼編譯,從而提升編譯速度。

當然說起來輕鬆,做起來沒有那麼容易,終於有位小夥伴將上述描述開發成一個開源方案了,非常值得大家學習和借鑑。

1.背景描述

在專案體量越來越大的情況下,編譯速度也隨著增長,有時候一個修改需要等待長達好幾分鐘的編譯時間。

基於這種普遍的情況,推出了 RocketX ,通過在編譯流程動態修改專案依賴關係, 動態 替換 module 為 aar,做到只編譯改動模組,其他模組不參與編譯,無需改動原有專案任何程式碼,提高全量編譯的速度。

2.效果展示

2.1、測試專案介紹

目標專案一共 3W+ 個類與資原始檔,全量編譯 4min 左右(測試使用 18 年 mbp 8代i7 16g)。

通過 RocketX 全量增速之後的效果(每一個操作取 3 次平均值)。

專案依賴關係如下圖,app 依賴 bm 業務模組,bm 業務模組依賴頂層 base/comm 模組。

依賴關係

• 當 base/comm 模組改動,底部的所有模組都必須參與編譯。因為 app/bmxxx 模組可能使用了 base 模組中的介面或變數等,並且不知道是否有改動到。(那麼速度就非常慢)

• 當 bmDiscover 做了改動,只需要 app 模組和 bmDiscover 兩個模組參與編譯。(速度較快)

• rx(RocketX) 在無論哪一個模組的編譯速度基本都是在控制在 30s 左右,因為只編譯 app 和 改動的模組,其他模組是 aar 包不參與編譯。

頂層模組速度提升 300%+

3.思路問題分析與模組搭建

3.1、思路問題分析

需要通過 gradle plugin 的形式動態修改沒有改動過的 module 依賴為 相對應的 aar 依賴,如果 module 改動,退化成 project 工程依賴,這樣每次只有改動的 module 和 app 兩個模組編譯。

需要把 implement/api moduleB,修改為implement/api aarB。

需要構建 local maven 儲存未被修改的 module 對應的 aar。(也可以通過 flatDir 代替速度更快)

編譯流程啟動,需要找到哪一個 module 做了修改。

需要遍歷每一個 module 的依賴關係進行置換, module 依賴怎麼獲取?一次效能獲取到所有模組依賴,還是分模組各自回撥?修改其中一個模組依賴關係會阻斷後面模組依賴回撥?

每一個 module 換變成 aar 之後,自身依賴的 child 依賴 (網路依賴,aar),給到 parent module (如何找到所有 parent module) ? 還是直接給 app module ? 有沒有 app 到 module 依賴斷掉的風險?這裡需要出一個技術方案。

需要hook 編譯流程,完成後置換 loacal maven 中被修改的 aar。

提供 AS 狀態列 button, 實現開啟關閉功能,加速編譯還是讓開發者使用已經習慣性的三角形 run 按鈕。

3.2、模組搭建

依照上面的分析,雖然問題很多,但是大致可以把整個專案分成以下幾塊:

4.問題解決與實現

4.1、implement 原始碼實現入口在 DynamicAddDependencyMethods 中的 tryInvokeMethod 方法。他是一個動態語言的 methodMissing 功能。

tryInvokeMethod 程式碼分析:

 public DynamicInvokeResult tryInvokeMethod(String name, Object... arguments) {       //省略部分程式碼 ...       return DynamicInvokeResult.found(this.dependencyAdder.add(configuration, normalizedArgs.get(0), (Closure)null)); }

dependencyAdder 實現是一個 DirectDependencyAdder。

private class DirectDependencyAdder implements DependencyAdder<Dependency> {    private DirectDependencyAdder() {    }    public Dependency add(Configuration configuration, Object dependencyNotation, @Nullable Closure configureAction) {        return DefaultDependencyHandler.this.doAdd(configuration, dependencyNotation, configureAction);    }}

最後是在 DefaultDependencyHandler.this.doAdd 進行新增進去,而 DefaultDependencyHandler 在 project可以獲取。

  DependencyHandler getDependencies(); 

通過以上的分析,新增相對應的 aar/jar 可以通過以下程式碼實現。

fun addAarDependencyToProject(aarName: String, configName: String, project: Project) {    //新增 aar 依賴 以下程式碼等同於 api/implementation/xxx (name: 'libaccount-2.0.0', ext: 'aar'),原始碼使用 linkedMap    if (!File(FileUtil.getLocalMavenCacheDir() + aarName + ".aar").exists()) return    val map = linkedMapOf<String, String>()    map.put("name", aarName)    map.put("ext", "aar")    // TODO: 2021/11/5 改變依賴 這裡後面需要修改成    //project.dependencies.add(configName, "com.${project.name}:${project.name}:1.0")    project.dependencies.add(configName, map)}
4.2、localMave 優先使用 flatDir 實現通過指定一個快取目錄把生成 aar/jar 包丟進去,依賴修改時候通過找尋進行替換。
fun flatDirs() {    val map = mutableMapOf<String, File>()    map.put("dirs", File(getLocalMavenCacheDir()))    appProject.rootProject.allprojects {        it.repositories.flatDir(map)    }}
4.3、編譯流程啟動,需要找到哪一個 module做了修改。

使用遍歷整個專案的檔案的 lastModifyTime 去做實現。

以每一個 module 為一個粒度,遞迴遍歷當前 module 的檔案,把每個檔案的 lastModifyTime 整合計算得出一個唯一標識 countTime。

通過 countTime 與上一次的作對比,相同說明沒改動,不同則改動. 並需要同步計算後的 countTime 到本地快取中。

整體 3W 個檔案耗時 1.2s 可以接受。

4.4、 module 依賴關係獲取。

通過以下程式碼可以找到生成整個專案的依賴關係圖時機,並在此處生成依賴圖解析器。

 project.gradle.addListener(DependencyResolutionListener listener)
4.5、 module 依賴關係 project 替換成 aar 技術方案

每一個 module 依賴關係替換的遍歷順序是無序的,所以技術方案需要支援無序的替換。

目前使用的方案是:如果當前模組 A 未改動,需要把 A 通過 localMaven 置換成 A.aar,並把 A.aar 以及 A 的 child 依賴,給到第一層的 parent module 即可。(可能會質疑如果 parent module 也是 aar 怎麼辦,其實這塊也是沒有問題的,這裡就不展開說了,篇幅太長)

為什麼要給到 parent 不能直接給到 app ,下圖一個簡單的示例如果 B.aar 不給 A 模組的話,A 使用 B 模組的介面不見了,會導致編譯不過。

給出整體專案替換的技術方案演示:

4.5、hook 編譯流程,完成後置換 loacal maven 中被修改的 aar。

點選三角形 run,執行的命令是 app:assembleDebug , 需要在 assembleDebug 後面補一個 uploadLocalMavenTask, 通過 finalizedBy 把我們的 task 執行起來去同步修改後的 aar

4.6、提供 AS 狀態列 button,小火箭按鈕一個噴火一個沒有噴火,代表 enable/disable , 一個 掃把clean rockectx 的快取。

5一天一個小驚喜

5.1、發現點選 run 按鈕 ,執行的命令是 app:assembleDebug ,各個子 module 在 output 並沒有打包出 aar。

解決:通過研究 gradle 原始碼發現打包是由 bundle{BuildType}Aar 這個task執行出來,那麼只需要將各個模組對應的 task 找到並注入到 app:assembleDebug 之後執行即可。

5.2、發現執行起來後存在多個 jar 包重複問題。

解決:implementation fileTree(dir: "libs", include: ["*.jar"]) jar 依賴不能交到 parent module,jar 包會打進 aar 中的lib 可直接剔除。通過以下程式碼可以判斷:

// 這裡的依賴是以下兩種: 無需新增在 parent ,因為 jar 包直接進入 自身的 aar 中的libs 資料夾//    implementation rootProject.files("libs/xxx.jar")//    implementation fileTree(dir: "libs", include: ["*.jar"])childDepency.files is DefaultConfigurableFileCollection || childDepency.files is DefaultConfigurableFileTree
5.3、發現 aar/jar 存在多種依賴方式。

implementation (name: 'libXXX', ext: 'aar')

implementation files("libXXX.aar")

解決:使用第一種,第二種會合並進aar,導致類重複問題.

5.4、發現 aar 新姿勢依賴。
configurations.maybeCreate("default")artifacts.add("default", file('lib-xx.aar'))

上面程式碼把 aar 做了一個單獨的 module 給到其他 module 依賴,default config 其實是 module 最終輸出 aar 的持有者,default config 可以持有一個 列表的aar ,所以把 aar 手動新增到 default config,也相當於當前 module 打包出來的產物。

解決:通過 childProject.configurations.maybeCreate("default").artifacts 找到所有新增進來的 aar ,單獨釋出 localmaven。

5.5、發現 android module 打包出來可以是 jar。

解決:通過找到名字叫做 jar 的task,並且在 jar task 後面注入 uploadLocalMaven task。

5.6、發現 arouter 有 bug,transform 沒有通過 outputProvider.deleteAll() 清理舊的快取。

解決:詳情檢視 issue,結果arouter 問題是解決了,程式碼也是合併了。但並沒有釋出新的外掛版本到 mavenCentral,於是先自行幫 arouter 解決一下。

https://github.com/alibaba/ARouter/issues/964

</article>
關注我,每天分享知識乾貨!