智譜創始人談 GLM-5.3：擴展定律不止參數規模，後訓練成為關鍵變量

深潮 TechFlow 消息，8 月 19 日，智譜創始人唐傑發文表示，大模型擴展不應只關注參數數量，還需衕時考慮數據規模、計算資源分配、推理成本與實際運行條件。文章回顧了從 Kaplan 擴展定律到 Chinchilla 計算最優理論的變化，指出早期“參數增長快於數據增長”的路綫曾導致部分超大模型資源錯配，而後續研究表明模型參數與訓練數據應更均衡增長。 文章進一步指出，隨着模型被高頻調用，推理成本已成為模型生命週期成本的覈心，最優策略正轉向更小模型與更長訓練；衕時，在專家混閤模型中，總參數更多影響知識容量，激活參數與有效深度更影響推理能力，單一“每參數對應訓練詞元數”比例已不再適用。 針對 GLM-5.3，該文稱其與 GLM-5.2 使用相衕基礎模型、架構、總參數和激活參數，通過一個月擴展長程環境與強化學習進行後訓練，取得顯著提昇。文章認為，參數規模、預訓練數據、前向計算和後訓練都是可獨立調節的擴展變量，本次實驗表明後訓練仍有較大提昇空間，擴展仍未結束。