Платформы

Платформы

Одни и те же возможности работают на чипах разных архитектур. Способ использования выше одинаков; различается то, насколько полно используется каждый вид оборудования под капотом.

x86

Настольные ПК, рабочие станции и небольшие серверы. С дискретной видеокартой быстрее.

Проверенные конфигурацииОдна видеокарта с 32 ГБ видеопамяти · 128 ГБ ОЗУДве видеокарты, 32 ГБ + 24 ГБ видеопамяти

ARM

Mac на чипах Apple и периферийные устройства на архитектуре ARM.

Проверенные конфигурацииПериферийное ИИ-устройство с 128 ГБ единой памяти

RISC-VПревью

Для нового поколения локальных ИИ-чипов.

Проверенные конфигурацииВ работе; проверенных конфигураций пока нет

ПревьюПоддержка RISC-V пока в работе; доступные функции и производительность будут дополняться в следующих версиях.

Указаны только машины, на которых мы её действительно запускали; минимальные требования ещё тестируются и будут добавлены позже.

Под капотом

Зрелые открытые движки.

Основана на llama.cpp, ONNX Runtime и MLX, с бэкендом и квантизацией, подобранными под каждый чип. Ручная настройка не нужна.

Не видите своё устройство?

Расскажите нам.

Мы добавляем поддержку модель за моделью. Расскажите, какое у вас устройство и что вы хотели бы с ним делать.

Расскажите нам