技术实践:适配 Karpathy 的 llm.c 项目到沐曦(METAX)GPU 平台

[复制链接]
77 4

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?立即注册

x
本帖最后由 inkstone 于 2025-4-6 15:59 编辑

昨晚尝试将 Karpathy 的轻量级大模型项目 llm.c 适配到沐曦GPU平台。整个适配过程异常顺利,轻松实现了 CUDA 代码的跨平台运行。
✅ 通过cu-bridge工具链实现CUDA到MXMACA的自动转换  
✅ 全程仅修改2处,保持原项目架构不变  
   - 修改 `mfu.h`:宏定义禁用 `USE_NVML` 并注释掉 `#include <nvml.h>`。
   - 修改 `Makefile`:删除 `-t=0`。
✅ 完整保留所有训练/推理功能  

适配后的完整项目已发布至码云:🔗 https://gitee.com/Inkstoneydz/llm.c

特别感谢开源项目 cu-bridge 的底层支持,已将上述 2 处修改私信反馈给cu-bridge发布者p4ul,期待未来版本能够实现零修改适配!

精彩评论4

 楼主| inkstone  注册会员  发表于 2025-4-6 10:40:07 | 显示全部楼层
本帖最后由 inkstone 于 2025-4-6 10:46 编辑

具体操作不同点(NVIDIA GPU vs METAX GPU)
https://gitee.com/Inkstoneydz/llm.c#build

build.png
 楼主| inkstone  注册会员  发表于 2025-4-6 10:45:11 | 显示全部楼层
在 METAX GPU 算力切分后的某虚拟机上运行截图

train_gpt2cu_1.png
train_gpt2cu_2.png
train_gpt2cu_3.png
train_gpt2cu_5.png
 楼主| inkstone  注册会员  发表于 2025-4-6 10:49:16 | 显示全部楼层
本帖最后由 inkstone 于 2025-4-6 11:09 编辑

支持 CUDA语言持续开发和自动迁移到沐曦GPU,新增 MXMACA 原生语言开发支持:
https://gitee.com/Inkstoneydz/llm.c/tree/master/dev/maca
maca_kernel_0.png
沐曦-涂渊  管理员  发表于 2025-4-16 11:43:42 | 显示全部楼层
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

©沐曦 沪ICP备2020031767号-1
快速回复 返回顶部 返回列表