曦云 C500 跑 普通版本的 Qwen 可以,但是跑量化版本的会报错

[复制链接]
8 0

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x
曦云 C500 跑 普通版本的 Qwen 可以,但是跑 量化版本 okwinds/Qwen2.5-7B-Instruct-Int4-W4A16的会报错



ValueError: Failed to find a kernel that can implement the WNA16 linear layer. Reasons:
MacheteLinearKernel requires capability 90, current compute capability is 0
MarlinLinearKernel requires capability 80, current compute capability is 0
ExllamaLinearKernel requires capability 60, current compute capability is 0



查了下说是英伟达驱动 没装    但是我装了之后还是报这个错  请问下这个应该怎么设置

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

©沐曦 沪ICP备2020031767号-1
快速回复 返回顶部 返回列表