Lemonade Server2026.45.3

Lemonade Server esegue l'inferenza AI sul proprio hardware, fornendo servizi locali di chat, codifica, sintesi vocale e generazione di immagini invece di inviare tali carichi di lavoro a un servizio remoto. Il server supporta anche carichi di lavoro multimodali, tra cui modelli linguistici di grandi dimensioni, conversione da voce a testo, sintesi vocale, generazione audio, generazione di immagini e generazione 3D.

Include più di 77 modelli integrati in formati GGUF, FLM e ONNX, gestiti con i comandi lemonade-server pull e lemonade-server list. Il rilevamento hardware seleziona tra i backend CUDA, ROCm, Vulkan, NPU e CPU, con i backend richiesti scaricati a richiesta. I modelli locali possono essere combinati con il cloud offload ai provider compatibili con OpenAI, mentre il client MCP e il supporto server collegano i flussi di lavoro dei modelli agli strumenti del protocollo di configurazione del modello. Un endpoint metrico Prometheus supporta il monitoraggio, e il servizio di sfondo si riavvia dopo i guasti.

L'accelerazione AMD copre RDNA2, RDNA3, e GPU RDNA4, schede RX 6000/7000/9000, Strix Point e Strix Halo APUs, e Instinct MI100, MI200, MI300X e MI350X hardware attraverso ROCm; AMD XDNA2 Ryzen AI NPUs gestire il linguaggio-model e l'inferenza del discorso. NVIDIA Turing e le GPU più recenti utilizzano CUDA, le GPU cross-vendor possono usare Vulkan, tra cui Intel e Qualcomm Adreno su ARM64, e i sistemi senza accelerazione GPU possono rientrare nella CPU.