Plataformas

Plataformas

Las mismas capacidades funcionan en chips de distintas arquitecturas. El uso es idéntico; lo que cambia es cuánto se aprovecha cada tipo de hardware por debajo.

x86
Equipos de escritorio, estaciones de trabajo y servidores pequeños. Más rápido con una tarjeta gráfica dedicada.
Configuraciones probadasUna GPU con 32 GB de VRAM · 128 GB de RAMDos GPU, 32 GB + 24 GB de VRAM
ARM
Macs con chip Apple y dispositivos de borde con arquitectura ARM.
Configuraciones probadasDispositivo de IA de borde con 128 GB de memoria unificada
RISC-VVista previa
Para la próxima generación de chips de IA local.
Configuraciones probadasEn curso; todavía no hay una configuración probada
Vista previaLa compatibilidad con RISC-V sigue en curso; las funciones disponibles y el rendimiento se irán completando en las próximas versiones.
Solo se listan los equipos en los que realmente lo hemos ejecutado; las especificaciones mínimas aún se están probando y se agregarán cuando terminen.
Por debajo

Motores de código abierto consolidados.

Basado en llama.cpp, ONNX Runtime y MLX, con el backend y la cuantización elegidos según el chip. No requiere configuración manual.

¿No ve su dispositivo?

Cuéntenos.

Vamos agregando compatibilidad modelo por modelo. Cuéntenos qué dispositivo tiene y qué le gustaría hacer con él.

Cuéntenos