HP Z Runtime0.51.2

Correr comandos zrt para preparar un entorno vLLM y servir modelos de lenguaje grandes desde un servidor Linux. La interfaz de línea de comandos maneja tareas de ciclo de vida modelo, desde obtener un modelo para ejecutar y observar su carga de trabajo. Expone una API HTTP compatible con OpenAI, permitiendo a los clientes y servicios que utilizan esa interfaz para enviar solicitudes de inferencia.

Los modelos pueden extraerse de Hugging Face, Azure ML o MLflow, luego servidos, utilizados para chat interactivo, y monitoreados a través del mismo CLI. La gestión automática de memoria GPU ayuda a coordinar el modelo de servicio en los anfitriones que ejecutan cargas de trabajo de GPU. Al combinar estas funciones con el motor de inferencia vLLM, zrt proporciona un flujo de trabajo orientado a la producción para desarrolladores y equipos de ciencia de datos que operan servicios de modelos de lenguaje.

HP Snap Maintainers publica HP Z Runtime para Linux como software de Herramientas para Desarrolladores comerciales. Está destinado a servidores Linux con cargas de trabajo de GPU, especialmente cuando un equipo necesita una ruta controlada de línea de comandos desde la preparación del medio ambiente a través de la operación de modelo en curso.

El host debe proporcionar Linux y snapd, y arquitecturas compatibles son amd64 y arm64. La versión actual es 0.51.2.