Lemonade Server2026.45.3

Lemonade Server executa inferência de IA em seu próprio hardware, fornecendo serviços locais de bate-papo, codificação, fala e geração de imagens, em vez de enviar essas cargas de trabalho para um serviço remoto. O servidor também oferece suporte a cargas de trabalho multimodais, incluindo modelos de linguagem grandes, conversão de fala em texto, conversão de texto em fala, geração de áudio, geração de imagens e geração 3D.

Ele inclui mais de 77 modelos embutidos nos formatos GGUF, FLM e ONNX, gerenciados com os comandos lemonade-server pull' e lemonade-server list'. A detecção de hardware seleciona entre as infra-estruturas CUDA, ROCm, Vulkan, NPU e CPU, com as infra-estruturas necessárias descarregadas sob demanda. Os modelos locais podem ser combinados com a transferência de nuvem para provedores compatíveis com OpenAI, enquanto o suporte ao cliente e servidor MCP conecta fluxos de trabalho do modelo às ferramentas do Model Context Protocol. Um endpoint de métricas Prometheus suporta monitoramento, e o serviço de background se reinicia após falhas.

A aceleração AMD cobre RDNA2, RDNA3 e RDNA4 GPUs, RX 6000/7000/9000 cartões, Strix Point e Strix Halo APUs, e Instinct MI100, MI200, MI300X, e MI350X hardware através de ROCm; AMD XDNA2 Ryzen AI NPUs lidar com linguagem-modelo e inferência de fala. NVIDIA Turing e GPUs mais recentes usam CUDA, GPUs cross-vendor podem usar Vulkan – incluindo Intel e Qualcomm Adreno em ARM64 – e sistemas sem aceleração GPU podem voltar para a CPU.