Lemonade Server2026.45.3

Lemonade Server, bu iş yüklerini uzak bir hizmete göndermek yerine kendi donanımınızda yapay zekâ çıkarımı çalıştırarak yerel sohbet, kodlama, konuşma ve görüntü oluşturma hizmetleri sağlar. Sunucu ayrıca büyük dil modelleri, konuşmadan metne, metinden konuşmaya, ses üretimi, görüntü üretimi ve 3D oluşturma dahil olmak üzere çok modlu iş yüklerini destekler.

GGUF, FLM ve ONNX formatlarında lemonade-server pull ve lemonade-server list komutlarıyla yönetilen 77'den fazla yerleşik modeli içerir. Donanım tespiti, CUDA, ROCm, Vulkan, NPU ve CPU arka uçları arasında seçim yapar ve talep üzerine gerekli arka uçlar indirilir. Yerel modeller OpenAI uyumlu sağlayıcılara bulut yükü ile birleştirilebilirken, MCP istemcisi ve sunucu desteği model iş akışlarını Model Bağlam Protokolü araçlarına bağlar. Bir Prometheus metrik uç noktası izlemeyi destekler ve arka plan hizmeti arızalardan sonra kendini yeniden başlatır.

AMD hızlandırma, ROCm aracılığıyla RDNA2, RDNA3 ve RDNA4 GPU'ları, RX 6000/7000/9000 kartları, Strix Point ve Strix Halo APU'ları ve Instinct MI100, MI200, MI300X ve MI350X donanımlarını kapsar; AMD XDNA2 Ryzen AI NPU'lar dil modelini ve konuşma çıkarımını ele alır. NVIDIA Turing ve daha yeni GPU'lar CUDA'yı kullanıyor, çapraz vendor GPU'lar ARM64'te Intel ve Qualcomm Adreno dahil olmak üzere Vulkan'ı kullanabilir ve GPU hızlandırması olmayan sistemler CPU'ya geri dönebilir.