Lemonade Server2026.45.3

Lemonade Server führt KI-Inferenz auf Ihrer eigenen Hardware aus und bietet lokale Chat-, Codierungs-, Sprach- und Bilderzeugungsdienste, anstatt diese Workloads an einen Remotedienst zu senden. Der Server unterstützt auch multimodale Workloads, einschließlich großer Sprachmodelle, Sprache-zu-Text, Text-zu-Sprache, Audioerzeugung, Bilderzeugung und 3D-Generation.

Es enthält mehr als 77 integrierte Modelle im GGUF-, FLM- und ONNX-Format, die mit den Befehlen "Lemonade-Server Pull" und "Lemonade-Server-Liste" verwaltet werden. Die Hardwareerkennung wählt zwischen CUDA-, ROCm-, Vulkan-, NPU- und CPU-Backends aus, wobei die erforderlichen Backends bei Bedarf heruntergeladen werden. Lokale Modelle können mit Cloud-Offload zu OpenAI-kompatiblen Anbietern kombiniert werden, während die MCP-Client- und Server-Unterstützung Modell-Workflows mit Model Context Protocol-Tools verbindet. Ein Prometheus-Metriken-Endpunkt unterstützt die Überwachung, und der Hintergrunddienst wird nach Fehlern von selbst neu gestartet.

AMD-Beschleunigung umfasst RDNA2, RDNA3 und RDNA4 GPUs, RX 6000/7000/9000-Karten, Strix Point und Strix Halo APUs und Instinct MI100, MI200, MI300X und MI350X Hardware durch ROCm; AMD XDNA2 Ryzen AI NPUs behandeln Sprachmodell und Sprachinferenz. NVIDIA Turing und neuere GPUs verwenden CUDA, herstellerübergreifende GPUs können Vulkan verwenden - einschließlich Intel und Qualcomm Adreno auf ARM64 - und Systeme ohne GPU-Beschleunigung können auf die CPU zurückgreifen.