登录
|
立即注册
首页
DeepSeek专区
AI应用生态
论坛
社区
文档
下载
沐曦大学
沐曦开发者社区
»
论坛
›
社区公共
›
新手社区
›
内容
发新帖
自定义算子推理
[复制链接]
20
0
发表于 2025-5-7 11:30:00
|
查看全部
|
阅读模式
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
本帖最后由 kelisis 于 2025-5-7 11:30 编辑
使用c++和沐曦C500推理模型,对于复杂自定义算子,例如稀疏卷积怎么注册算子呢?
了解到MacaRT是ONNXRT的后端,算子的注册方式是和ONNXRT注册算子一样吗?
如果是使用pytorch+cuda(自定义算子.cu编成.so使用pybind11调用)的推理方式,需要有哪些核函数或者torch代码的改动呢?
举报
回复
返回列表
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
kelisis
新手上路
1
主题
0
回帖
21
积分
Ta的主页
发私信
图文热点
【微调打榜内测】【书生】端侧小模型论
在智算大语言模型蓬勃发展的浪潮中,书生・浦语(InternLM)脱颖而出。书生・浦 ...
LMDeploy部署&&xtune微调IntenLM
XTune微调及验证截图 LMDeploy推理及验证结果(做完的时候没看到后面写的要截图 ...
有没有C500的安装视频?
请问有没有C500的安装视频? 目前买了两张C500的显卡, 但是不知道怎么安装? ...
推荐话题
1.
沐曦MXMACA平台上pytorch构造CUDA算子库扩
2.
驱动安装kernel不匹配,cp: can't stat
3.
曦云 C500 跑 普通版本的 Qwen 可以,但是
4.
驱动装好了 但是使用vllm的benchmark 报错
5.
曦云C500 这个显卡功耗温度是不是有点异常
6.
【微调打榜内测】【书生】端侧小模型论文分
7.
【五一内测】沐曦玩转 LMDeploy、XTuner 和
8.
LMDeploy部署&&xtune微调IntenLM
精彩时刻
【微调打榜内测】【书生】端侧小模型
在智算大语言模型蓬勃发展的浪潮中,书生・浦语(InternLM)脱颖而出。书生・浦语凭
LMDeploy部署&&xtune微调IntenLM
XTune微调及验证截图 LMDeploy推理及验证结果(做完的时候没看到后面写的要截图保存
有没有C500的安装视频?
请问有没有C500的安装视频? 目前买了两张C500的显卡, 但是不知道怎么安装? 没
沐曦玩转 LMDeploy、XTuner 和 Inter
体验了一下模型量化和微调
【大模型实战营】【报名】欢迎论坛小
恭喜小伙伴成功报名第五期书生大模型实战营!所有课程免费!!! 第五期项目申报地
新人必看
社区规则
隐私保护
监督机制
关于版权
技术支持邮箱:support-sw@metax-tech.com
法律声明
联系我们
©沐曦 沪ICP备2020031767号-1
快速回复
返回顶部
返回列表