Lemonade Server2026.45.3

Lemonade Server exécute l'inférence AI sur votre propre matériel, fournissant des services locaux de chat, de codage, de parole et de génération d'images au lieu d'envoyer ces charges de travail à un service distant. Le serveur prend également en charge les charges de travail multimodales, y compris les grands modèles de langage, la parole en texte, la parole en parole, la génération audio, la génération d'images et la génération 3D.

Il comprend plus de 77 modèles intégrés aux formats GGUF, FLM et ONNX, gérés avec les commandes "lemonade-server pull" et "lemonade-server list". La détection du matériel sélectionne les moteurs CUDA, ROCm, Vulkan, NPU et CPU, avec les moteurs requis téléchargés sur demande. Les modèles locaux peuvent être combinés avec le téléchargement cloud vers des fournisseurs compatibles OpenAI, tandis que le support client et serveur MCP connecte les flux de travail du modèle aux outils du protocole de contexte du modèle. Un point de terminaison de métriques Prometheus prend en charge la surveillance, et le service d’arrière-plan redémarre automatiquement après des défaillances.

L'accélération AMD couvre les processeurs RDNA2, RDNA3 et RDNA4 GPU, les cartes RX 6000/7000/9000, les processeurs Strix Point et Strix Halo et le matériel Instinct MI100, MI200, MI300X et MI350X via ROCm; les processeurs AMD XDNA2 Ryzen AI gèrent le modèle de langue et l'inférence de la parole. Les GPU NVIDIA Turing et les GPU plus récents utilisent CUDA, les GPU cross-vendor peuvent utiliser Vulkan – y compris Intel et Qualcomm Adreno sur ARM64 – et les systèmes sans accélération GPU peuvent revenir au CPU.