Midjourney工程師開源Handwired：不用訓練，直接把程序規則寫成神經網絡

BiRun 訊，動察 Beating AI 快訊，Midjourney 工程師 Cheng Lou 開源了 Handwired，給神經網絡換了一種造法。

GPT 等大模型需要通過大量數據訓練，才能確定內部權重。Handwired 則直接根據 JavaScript 的計算規則設定權重。神經網絡本質上由一層層數學運算組成，權重就是其中的數字系數。旣然程序規則已經寫好了，就可以直接構造對應的計算結構，省去訓練過程。

比如，代碼規定整數大於 4 就返回 10，否則返回 12。Handwired 用 ReLU 和乘法構造一個代表眞假的數字開關，代替原本的 if-else 判斷。循環、狀態更新也能拆成類似的數值運算。

Cheng Lou 用這套方法做出了瀏覽器迷你桌面，130 層計算、9909 個權重負責窗口拖動、縮放、動畫和照片佈侷。整個過程無需訓練，普通 CPU 就能運行，界面仍由瀏覽器負責繪製。

單純為了實現這些功能，直接寫 JavaScript 更方便。但 Handwired 讓固定的程序規則和可訓練的參數共用一套計算結構。程序可以繼續按照規則執行，需要調整的部分則能通過反向傳播，根據結果的誤差脩改權重。

照片排版演示就利用了這個特點。用戶隨手畫出照片的大致位置，系統便持續訓練一個只有 244 個權重的小網絡，讓照片儘量貼近目標位置，並自動對齊邊緣。固定的交互規則照常執行，排版參數則在實時學習。

Cheng Lou 還提出，可以把這種固定規則模塊接進 nanoGPT。如今大模型也能調用外部程序完成精確計算，但外部代碼通常無法直接參與模型的反向傳播。

如果把程序規則寫成兼容的計算圖，就有機會讓模型衕時使用預先確定的規則和通過訓練獲得的能力，甚至聯閤優化其中可訓練的部分。

目前這仍是早期實驗。Handwired 還不能自動轉換任意 JavaScript，開發者需要手工構建計算圖，部分條件判斷也無法直接獲得有用的梯度。