空中畫符的中二技能，誰不想擁有呢？

不如捏一隻萬能的 AI 來當魔法畫筆吧。

這是一個用來寫寫畫畫的手部跟蹤程式，開發者將它命名為 YoHa（YourHand Tracking）。

這個程式基於 TensorFlow.js 實現了實時識別功能，能達到不卡頓、無延遲的效果。

捏起手指就可以變成畫筆，清空畫布也只需握拳就能辦到。

用 YoHa 給自己畫特效的效果這麼好，難怪可以獲得 555 顆星。

這隻 AI 怎麼玩？

這款手勢識別程式已經開源，開發者 Benjamin 大方地提供給了所有人使用“魔法”的機會。

既可以安裝在自己的電腦上來玩，一行程式碼就能輕鬆實現。

[email protected]/yoha

也可以線上試玩，直接用網頁下載模型寫寫畫畫。

雖然 YoHa 目前只能對捏手指和握拳兩個指令動作做出功能響應，但是因為有 TensorFlow.js 加持，它的效能可一點都不低。

21 個手部關節定位，左右手方向檢測，手部姿勢檢測等都可以實時實現。

來看看“買家秀”是不是也一樣秀。

如此好玩的 AI 背後，究竟是什麼原理呢？

YoHa 模型使用 TensorFlow.js 深度學習框架來進行從頭訓練，開發過程包含了訓練步驟和推理步驟兩大部分。

它的模型訓練階段利用了自定義神經網路，以自定義資料集作為訓練資料，而線上實時推理則用到了 TensorFlow.js 推理框架。

不過，因為 TensorFlow.js 規模的限制，比起電腦，YoHa 在移動裝置上的表現較差。

另外，YoHa 的本地執行速度也比線上試玩快很多，果然馴服 AI 還是得先帶回家裡養。

手勢識別有什麼用？

YoHa 的開發者 Benjamin 提到，製作這個專案一開始是為了增加網路的互動性：

“現有的解決方案沒有我想要的，所以我給自己建立了新的解決方案”

不愧是動手能力強的大佬，沒有自己想要的，那就自己造一個。

手勢識別這麼火，乾脆多開發一些玩法，新增更豐富的功能讓 VR/AR 更好玩。

針對之前提到的 YoHa 效能缺陷，Benjamin 也給玩家提供了高效能備選方案：通用手勢識別模型 MediaPipe。

如果高階玩家對效能有更高追求，可以在這個經典模型基礎上進行功能擴充套件。

比如不久前以 MediaPipe 為基礎開發的類似專案 air-drawing，在玩法上和 YoHa 稍有不同。

感興趣的話，自己去馴服一隻 AI 來寫字畫畫吧。

GitHub 地址：

https://github.com/handtracking-io/yoha

試玩地址：

https://handtracking.io/draw_demo/

https://loicmagne.github.io/air-drawing/