Liquid AI發布超低延遲推理引擎，瞄準蒐索、廣告和支付風控

BiRun 訊，Liquid AI 發布了實時推理引擎 RIPL，讓自家的小型 AI 模型能在幾十毫秒內完成生成，瞄準蒐索排序、廣告匹配、支付風控等對速度要求很高的業務。

這些領域早就有成熟的 AI 模型，但通常需要針對具體任務進行訓練。語言模型可以直接理解用戶輸入、生成關鍵詞或給出判斷，只是推理速度往往跟不上實時業務。

RIPL 是一套專門加速 Liquid AI 現有模型的運行系統，優化從收到請求到返回完整結果的整個過程。

官方使用單張 NVIDIA B200 測試。在每秒 1000 次請求、輸入輸出各 32 Token 的條件下，1.2B 參數的 LFM2.5 有 95% 的請求在 34.6 毫秒內完成。作為對比，Qwen3.5-0.8B 搭配 vLLM 需要約 498 毫秒，相差 14.4 倍。

信源

動察 Beating 頻道 · 動察 Beating 交流羣。