沐曦开发者社区»论坛 › 产品 › 沐曦产品 › 内容
发新帖

C500推理占用上不去是什么原因

[复制链接]
52 0

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
跑vllm的benchmark 64并发2621total tokens/s，但是单batch推理不到10 tokens/s，GPU功率不到100w，使用率6%

举报

回复
返回列表
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

©沐曦 沪ICP备2020031767号-1
快速回复 返回顶部 返回列表