HP Z Runtime0.51.2

Execute comandos zrt para preparar um ambiente vLLM e servir modelos de linguagem grandes a partir de um servidor Linux. A interface de linha de comando lida com tarefas do ciclo de vida do modelo, desde a obtenção de um modelo até a execução e observação de sua carga de trabalho. Ela expõe uma API HTTP compatível com OpenAI, permitindo que clientes e serviços que usam essa interface enviem solicitações de inferência.

Modelos podem ser retirados do Hugging Face, Azure ML ou MLflow, então servidos, usados para chat interativo, e monitorados através do mesmo CLI. O gerenciamento automático de memória GPU ajuda a coordenar o serviço de modelos em hosts executando cargas de trabalho GPU. Ao combinar essas funções com o motor de inferência vLLM, o zrt fornece um fluxo de trabalho orientado à produção para desenvolvedores e equipes de ciência de dados operando serviços de modelo de linguagem.

HP Snap Mantenedores publica HP Z Runtime para Linux como software comercial de Ferramentas de Desenvolvimento. Ele é destinado a servidores Linux com cargas de trabalho GPU, particularmente quando uma equipe precisa de um caminho de linha de comando controlado a partir da preparação do ambiente através de operação de modelo contínua.

O host deve fornecer Linux e snapd, e arquiteturas suportadas são amd64 e arm64. A versão atual é 0.51.2.