登录
|
立即注册
首页
DeepSeek专区
AI应用生态
论坛
社区
文档
下载
沐曦大学
沐曦开发者社区
»
论坛
›
编程
›
MXMACA编程
›
内容
发新帖
技术实践:适配 Karpathy 的 llm.c 项目到沐曦(METAX)GPU 平台
[复制链接]
78
4
发表于 2025-4-6 10:36:19
|
查看全部
|
阅读模式
马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要
登录
才可以下载或查看,没有账号?
立即注册
x
本帖最后由 inkstone 于 2025-4-6 15:59 编辑
昨晚尝试将 Karpathy 的轻量级大模型项目
llm.c
适配到沐曦GPU平台。整个适配过程异常顺利,轻松实现了 CUDA 代码的跨平台运行。
✅ 通过cu-bridge工具链实现CUDA到MXMACA的自动转换
✅ 全程仅修改2处,保持原项目架构不变
- 修改 `mfu.h`:宏定义禁用 `USE_NVML` 并注释掉 `#include <nvml.h>`。
- 修改 `Makefile`:删除 `-t=0`。
✅ 完整保留所有训练/推理功能
适配后的完整项目已发布至码云:🔗
https://gitee.com/Inkstoneydz/llm.c
特别感谢开源项目
cu-bridge
的底层支持,已将上述 2 处修改私信反馈给
cu-bridge
发布者
p4ul
,期待未来版本能够实现零修改适配!
举报
回复
精彩评论
4
楼主
|
inkstone
注册会员
发表于 2025-4-6 10:40:07
|
显示全部楼层
本帖最后由 inkstone 于 2025-4-6 10:46 编辑
具体操作不同点(NVIDIA GPU vs METAX GPU)
https://gitee.com/Inkstoneydz/llm.c#build
举报
回复
楼主
|
inkstone
注册会员
发表于 2025-4-6 10:45:11
|
显示全部楼层
在 METAX GPU 算力切分后的某虚拟机上运行截图
举报
回复
楼主
|
inkstone
注册会员
发表于 2025-4-6 10:49:16
|
显示全部楼层
本帖最后由 inkstone 于 2025-4-6 11:09 编辑
支持 CUDA语言持续开发和自动迁移到沐曦GPU,新增 MXMACA 原生语言开发支持:
https://gitee.com/Inkstoneydz/llm.c/tree/master/dev/maca
举报
回复
沐曦-涂渊
管理员
发表于 2025-4-16 11:43:42
|
显示全部楼层
赞
举报
回复
返回列表
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
inkstone
注册会员
1
主题
5
回帖
165
积分
Ta的主页
发私信
图文热点
【微调打榜内测】【书生】端侧小模型论
在智算大语言模型蓬勃发展的浪潮中,书生・浦语(InternLM)脱颖而出。书生・浦 ...
LMDeploy部署&&xtune微调IntenLM
XTune微调及验证截图 LMDeploy推理及验证结果(做完的时候没看到后面写的要截图 ...
有没有C500的安装视频?
请问有没有C500的安装视频? 目前买了两张C500的显卡, 但是不知道怎么安装? ...
推荐话题
1.
沐曦MXMACA平台上pytorch构造CUDA算子库扩
2.
驱动安装kernel不匹配,cp: can't stat
3.
曦云 C500 跑 普通版本的 Qwen 可以,但是
4.
驱动装好了 但是使用vllm的benchmark 报错
5.
曦云C500 这个显卡功耗温度是不是有点异常
6.
【微调打榜内测】【书生】端侧小模型论文分
7.
【五一内测】沐曦玩转 LMDeploy、XTuner 和
8.
LMDeploy部署&&xtune微调IntenLM
精彩时刻
【微调打榜内测】【书生】端侧小模型
在智算大语言模型蓬勃发展的浪潮中,书生・浦语(InternLM)脱颖而出。书生・浦语凭
LMDeploy部署&&xtune微调IntenLM
XTune微调及验证截图 LMDeploy推理及验证结果(做完的时候没看到后面写的要截图保存
有没有C500的安装视频?
请问有没有C500的安装视频? 目前买了两张C500的显卡, 但是不知道怎么安装? 没
沐曦玩转 LMDeploy、XTuner 和 Inter
体验了一下模型量化和微调
【大模型实战营】【报名】欢迎论坛小
恭喜小伙伴成功报名第五期书生大模型实战营!所有课程免费!!! 第五期项目申报地
新人必看
社区规则
隐私保护
监督机制
关于版权
技术支持邮箱:support-sw@metax-tech.com
法律声明
联系我们
©沐曦 沪ICP备2020031767号-1
快速回复
返回顶部
返回列表