Lemonade Server2026.45.3

Lemonade Server запускает вывод ИИ на вашем собственном оборудовании, предоставляя услуги локального чата, кодирования, речи и генерации изображений вместо отправки этих рабочих нагрузок в удаленный сервис. Сервер также поддерживает мультимодальные рабочие нагрузки, включая большие языковые модели, речь-текст, текст-речь, генерацию аудио, генерацию изображений и 3D-генерацию.

Он включает в себя более 77 встроенных моделей в форматах GGUF, FLM и ONNX, управляемых командами «lemonade-server pull» и «lemonade-server list». Обнаружение оборудования выбирает среди CUDA, ROCm, Vulkan, NPU и CPU бэкэндов, причем необходимые бэкэнды загружаются по требованию. Локальные модели могут быть объединены с облачной выгрузкой для совместимых с OpenAI провайдеров, а поддержка клиентов и серверов MCP позволяет подключать рабочие процессы моделей к инструментам протокола Model Context Protocol. Конечная точка Prometheus поддерживает мониторинг, а фоновая служба запускается после сбоев.

Ускорение AMD охватывает графические процессоры RDNA2, RDNA3 и RDNA4, карты RX 6000/7000/9000, графические процессоры Strix Point и Strix Halo и аппаратные средства Instinct MI100, MI200, MI300X и MI350X через ROCm; графические процессоры AMD XDNA2 Ryzen AI обрабатывают языковую модель и речевой вывод. NVIDIA Turing и новые графические процессоры используют CUDA, кросс-вендорные графические процессоры могут использовать Vulkan, включая Intel и Qualcomm Adreno на ARM64, а системы без ускорения графического процессора могут вернуться к процессору.