|
每经记者 岳楚鹏 每经编辑 兰素英 2月10日，清华大学KVCache.AI团队联合趋境科技发布的KTransformers开源项目迎来重大更新，成功打破大模型推理算力门槛。此前，拥有671B参数的MoE架构大模型DeepSeek-R1在推理时困难重重。推理服务器常因高负荷宕机，专属版云服务器按GPU小时计费的高昂成本让中小团队无力承担，而市面上的“本地部署”方案多为参数量大幅缩水的蒸馏版，在本地小规模硬件上运行满血版 DeepSeek-R1 被认为几乎不可能。 此次KTransformers项目更新带来重大突破，支持在24G显存（4090D）的设备上本地运行 DeepSeek-R1、V3的671B满血版。其预处理速度最高可达286 tokens/s，推理生成速度最高能达到14 tokens/s。甚至有开发者借助这一优化技术，在3090显卡和200GB内存的配置下，使Q2_K_XL模型的推理速度达到9.1 tokens/s，实现了千亿级模型的 “家庭化” 运行。 此外，该项目v0.3预览版还将整合Intel AMX指令集，进一步提升CPU预填充速度，最高至286 tokens/s，相比llama.cpp快了近28倍，为长序列任务带来秒级响应。同时，KTransformers提供兼容Hugginface Transformers的API与ChatGPT式Web界面，降低上手难度，其基于YAML的“模板注入框架”可灵活切换多种优化方式。 |
