HP Z Runtime0.51.2

Führen Sie zrt-Befehle aus, um eine vLLM-Umgebung vorzubereiten und große Sprachmodelle von einem Linux-Server aus zu bedienen. Die Befehlszeilenschnittstelle übernimmt die Aufgaben des Modelllebenszyklus, vom Erhalt eines Modells bis zum Ausführen und Beobachten seiner Arbeitslast. Es stellt eine OpenAI-kompatible HTTP-API bereit, mit der Clients und Dienste, die diese Schnittstelle verwenden, Inferenzanforderungen senden können.

Modelle können aus Hugging Face, Azure ML oder MLflow gezogen, dann bedient, für den interaktiven Chat verwendet und über dieselbe CLI überwacht werden. Automatische GPU-Speicherverwaltung hilft bei der Koordination von Modellen auf Hosts, die GPU-Workloads ausführen. Durch die Kombination dieser Funktionen mit der vLLM-Inferenz-Engine bietet zrt einen produktionsorientierten Workflow für Entwickler und Data-Science-Teams, die Sprachmodelldienste betreiben.

HP Snap Maintainers veröffentlicht HP Z Runtime für Linux als kommerzielle Entwickler-Tools-Software. Es ist für Linux-Server mit GPU-Workloads gedacht, insbesondere wenn ein Team einen kontrollierten Befehlszeilenpfad von der Umgebungsvorbereitung bis zum laufenden Modellbetrieb benötigt.

Der Host muss Linux und Snapd bereitstellen, und unterstützte Architekturen sind amd64 und arm64. Die aktuelle Version ist 0.51.2.