沐曦开发者社区»论坛 › 开源 › 开源 › 内容
发新帖

沐曦GPU已支持ktransformers，单卡可运行DeepSeek满血版

[复制链接]
363 3

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
https://github.com/kvcache-ai/ktransformers/pull/819/files


                               
登录/注册后可看大图

更多实测信息稍后奉上。


ktrans_metax.jpg

举报

回复

精彩评论3

l7760053  新手上路  发表于 2025-3-11 14:47:14 | 显示全部楼层
tps能到多少啊

举报

回复
 楼主| 沐曦-涂渊  管理员  发表于 2025-3-25 13:40:14 | 显示全部楼层
因为ktransformers的tps和CPU性能强相关，不同配置的服务器/工作站差别非常大，不太具备直接的参考价值

推荐一个帖子参考一下：
https://mp.weixin.qq.com/s/BMN1qY56noYN55tUwgdMfg

举报

回复
l7760053  新手上路  发表于 2025-4-2 11:50:02 来自手机  | 显示全部楼层
是否支持unsloth方案啊

举报

回复
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

沐曦-涂渊
管理员

6

主题

20

回帖

494

积分
Ta的主页发私信

图文热点

推荐话题

精彩时刻

新人必看

©沐曦 沪ICP备2020031767号-1
快速回复 返回顶部 返回列表