HP Z Runtime0.51.2

Exécutez des commandes zrt pour préparer un environnement vLLM et servir de grands modèles de langage à partir d'un serveur Linux. L'interface en ligne de commande gère les tâches du cycle de vie du modèle, de l'obtention d'un modèle à l'exécution et à l'observation de sa charge de travail. Il expose une API HTTP compatible OpenAI, permettant aux clients et aux services qui utilisent cette interface d'envoyer des requêtes d'inférence.

Les modèles peuvent être récupérés depuis Hugging Face, Azure ML ou MLflow, puis servis, utilisés pour le chat interactif et surveillés via la même interface de ligne de commande. La gestion automatique de la mémoire GPU aide à coordonner le modèle servant sur les hôtes exécutant des charges de travail GPU. En combinant ces fonctions avec le moteur d'inférence vLLM, zrt fournit un flux de travail axé sur la production pour les développeurs et les équipes de data science exploitant des services de modèles linguistiques.

HP Snap Maintainers publie HP Z Runtime pour Linux comme logiciel de développement commercial. Il est destiné aux serveurs Linux ayant une charge de travail GPU, en particulier lorsqu'une équipe a besoin d'un chemin de ligne de commande contrôlé depuis la préparation de l'environnement jusqu'à l'exploitation permanente du modèle.

L'hôte doit fournir Linux et snapd, et les architectures prises en charge sont amd64 et arm64. La version actuelle est 0.51.2.