HP Z Runtime0.51.2

Eseguire i comandi zrt per preparare un ambiente vLLM e servire modelli linguistici di grandi dimensioni da un server Linux. L'interfaccia della riga di comando gestisce le attività del ciclo di vita del modello, dall'ottenimento di un modello all'esecuzione e al monitoraggio del suo carico di lavoro. Espone un'API HTTP compatibile con OpenAI, consentendo ai client e ai servizi che utilizzano tale interfaccia di inviare richieste di inferenza.

I modelli possono essere estratti da Hugging Face, Azure ML o MLflow, poi serviti, utilizzati per chat interattiva e monitorati attraverso lo stesso CLI. La gestione automatica della memoria GPU aiuta a coordinare il modello che serve sugli host che eseguono carichi di lavoro GPU. Combinando queste funzioni con il motore di inferenza vLLM, zrt fornisce un flusso di lavoro orientato alla produzione per sviluppatori e team di scienza dei dati che operano servizi linguistici.

HP Snap Maintainers pubblica HP Z Runtime per Linux come software di sviluppo commerciale. È destinato a server Linux con carichi di lavoro GPU, in particolare quando un team ha bisogno di un percorso di riga di comando controllato dalla preparazione dell'ambiente attraverso l'operazione del modello in corso.

L'host deve fornire Linux e scattato, e le architetture supportate sono amd64 e arm64. La versione attuale è 0.51.2.