HP Z Runtime0.51.2

Zrt コマンドを実行して、vLLM 環境を準備し、Linux サーバーから大規模言語モデルを提供できます。コマンドラインインターフェースは、モデルの取得からワークロードの実行と監視まで、モデルのライフサイクルタスクを処理します。OpenAI 互換の HTTP API を公開し、そのインターフェースを使用するクライアントやサービスから推論リクエストを送信できます。

モデルは、Hugging Face、Azure ML、または MLflow から引き出され、対話的なチャットに使用され、同じ CLI を介して監視することができます。 自動GPUメモリ管理は、GPUのワークロードを実行しているホストでモデルのサービングを調整するのに役立ちます。 これらの関数を vLLM 推論エンジンと組み合わせることにより、zrt は、開発者やデータサイエンスチームが言語モデルサービスを操作するための生産指向のワークフローを提供します。

HPスナップメンテナーは、Linux用のHP Z Runtimeを商用開発者ツールソフトウェアとして公開しています。 GPUのワークロードでLinuxサーバーを想定しています。特に、チームは環境準備から継続的なモデル運用まで管理されたコマンドラインパスを必要とするときです。

ホストは、Linux とスナップされ、サポートされているアーキテクチャは amd64 と arm64 です。 現在のバージョンは0.51.2です。