llm-d 1.0推出DeepSeek未开源服务层

据Forkast发布，llm-d 1.0发布DeepSeek未开源的服务层，赞助商销售托管版本。DeepSeek开源其生产推理引擎时，代码仓库列出了完整服务栈所需但未提供的三项组件：KV缓存系统、预填充与解码分离，以及跨数据并行副本的负载均衡。在PyTorch Conference上，Google、Red Hat和。