螞蟻集團與vLLM聯閤開源Humming：高性能、靈活的量化推理內覈

螞蟻集團與vLLM社區聯閤開源Humming，一個通用、高性能的量化推理算子庫。Humming具備以下特點：廣氾的設備支持，覆蓋多種GPU，以及兼容CUDA編程的設備；豐富的量化支持，通過統一架構支持Dense和MoE中豐富的權重與激活格式組閤，覆蓋多種整數和浮點類型、位寬及縮放方式。出色的執行性能在多種典型負載中顯著優於vLLM Marlin、FlashInfer和DeepGEMM等現有實現。