AMD完成约29亿美元收购Taalas:把AI模型刻进芯片,每秒生成1.7万Token
为什么值得看利多 AMD利多 AI 芯片板块
AMD强化AI芯片布局,传统GPU竞争加剧
AI 判断,不构成投资建议AMD 宣布完成对加拿大 AI 芯片公司 Taalas 的收购。双方今年 8 月达成协议,交易总价值最高约 29 亿美元,其中最多 14 亿美元需要满足约定条件才会支付。
Taalas 走了一条与传统 GPU 完全不同的路线:在制造芯片时,就把 AI 模型的参数直接固化进电路。
普通 GPU 需要反复从显存读取模型参数。Taalas 把存储和计算放在一起,减少了数据搬运,也省去了昂贵的高带宽显存(HBM)及相关复杂封装。
今年 2 月,Taalas 推出首款芯片 HC1,专门运行 Meta 的 Llama 3.1 8B 模型。按官方测试,在输入和输出各 1000 Token 的条件下,单用户生成速度达到每秒约 1.7 万 Token,接近当时 Cerebras 的 9 倍。
但这种设计也牺牲了灵活性。普通 GPU 可以随时加载不同模型,HC1 虽然支持 LoRA 微调,但更换基础模型仍需修改制造光罩、重新生产芯片。Taalas 给出的周期是约两个月。
HC1 还采用了激进的 3-bit 和 6-bit 量化,虽然大幅压缩了模型参数,但也损失了部分模型质量。目前每秒 1.7 万 Token 的成绩仅来自 Llama 3.1 8B,更大模型的实际表现还有待验证。
AMD 准备将这项技术纳入未来的 AI 加速器产品,与现有的 Instinct GPU 搭配使用,让专用芯片承担固定模型的高频推理任务。
信源
动察 Beating 频道 · 动察 Beating 交流群。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯