Plataformas

Plataformas

As mesmas capacidades rodam em chips de arquiteturas diferentes. O uso descrito acima é idêntico; o que muda é como cada tipo de hardware é aproveitado por baixo.

x86
Desktops, estações de trabalho e servidores pequenos. Mais rápido com uma placa de vídeo dedicada.
Configurações testadasUma GPU com 32 GB de VRAM · 128 GB de RAMDuas GPUs, 32 GB + 24 GB de VRAM
ARM
Macs com chip Apple e dispositivos de borda com arquitetura ARM.
Configurações testadasDispositivo de IA de borda com 128 GB de memória unificada
RISC-VPrévia
Para a próxima geração de chips de IA local.
Configurações testadasEm andamento; ainda sem configuração testada
PréviaO suporte a RISC-V ainda está em andamento; os recursos e o desempenho disponíveis serão completados nas próximas versões.
Só listamos as máquinas em que realmente o executamos; os requisitos mínimos ainda estão sendo testados e serão acrescentados quando concluídos.
Por baixo dos panos

Mecanismos de código aberto maduros.

Baseado em llama.cpp, ONNX Runtime e MLX, com o backend e a quantização escolhidos para cada chip. Sem configuração manual.

Não vê o seu dispositivo?

Conte para nós.

Estamos dando suporte modelo a modelo. Conte qual é o seu dispositivo e o que gostaria de fazer com ele.

Conte para nós