Plateformes

Plateformes

Les mêmes capacités fonctionnent sur différentes architectures de puces. L'usage ci-dessus est identique ; ce qui change, c'est la façon dont chaque type de matériel est exploité à fond en dessous.

x86
Ordinateurs de bureau, stations de travail et petits serveurs. Plus rapide avec une carte graphique dédiée.
Configurations testéesUne carte graphique avec 32 Go de VRAM · 128 Go de RAMDeux cartes graphiques, 32 Go + 24 Go de VRAM
ARM
Mac à puce Apple et appareils de périphérie à architecture ARM.
Configurations testéesAppareil d'IA de périphérie avec 128 Go de mémoire unifiée
RISC-VAperçu
Pour la nouvelle génération de puces d'IA locales.
Configurations testéesEn cours ; aucune configuration testée pour l'instant
AperçuLa prise en charge de RISC-V est encore en cours ; les fonctions disponibles et les performances se complèteront au fil des versions.
Seules les machines sur lesquelles nous l'avons réellement exécuté sont listées ; les configurations minimales sont encore en cours de test et seront ajoutées une fois terminées.
Sous le capot

Des moteurs open source éprouvés.

Repose sur llama.cpp, ONNX Runtime et MLX, avec le backend et la quantification choisis selon la puce. Aucune configuration manuelle nécessaire.

Vous ne voyez pas votre appareil ?

Dites-le-nous.

Nous ajoutons la prise en charge modèle par modèle. Dites-nous quel est votre appareil et ce que vous voulez en faire.

Dites-le-nous