平台

支持的平台

同一套能力运行在不同架构的芯片上。上层用法一致,差别在于底层如何充分利用各类硬件。

x86
台式机、工作站与小型服务器。有独立显卡时更快。
实测过的配置单卡 32 GB 显存 · 128 GB 内存双卡 32 GB + 24 GB 显存
ARM
Apple 芯片的 Mac,以及 ARM 架构的边缘设备。
实测过的配置128 GB 统一内存的边缘 AI 设备
RISC-V预览
面向新一代本地 AI 芯片。
实测过的配置适配中,还没有实测配置
预览RISC-V 仍在适配中,可用功能与性能将随版本逐步完善。
仅列出我们实际运行过的机器;最低配置仍在测试,完成后补充。
底下是什么

成熟的开源引擎。

使用 llama.cpp、ONNX Runtime、MLX,按芯片选择后端与量化方式,无需手动配置。

没有你的设备?

告诉我们。

我们在逐款适配。欢迎说明你的设备型号与使用场景。

告诉我们