HP Z Runtime0.51.2

Bir vLLM ortamı hazırlamak ve bir Linux sunucusundan büyük dil modelleri sunmak için zrt komutlarını çalıştırın. Komut satırı arayüzü, bir model elde etmekten, iş yükünü çalıştırmaya ve gözlemlemeye kadar model yaşam döngüsü görevlerini ele alır. OpenAI uyumlu bir HTTP API'sini açığa çıkarır ve bu arayüzü kullanan istemcilerin ve hizmetlerin çıkarım istekleri göndermesine izin verir.

Modeller Hugging Face, Azure ML veya MLflow'dan çekilebilir, daha sonra servis edilebilir, etkileşimli sohbet için kullanılabilir ve aynı CLI üzerinden izlenebilir. Otomatik GPU bellek yönetimi, GPU iş yüklerini çalıştıran ana bilgisayarlarda hizmet veren modeli koordine etmeye yardımcı olur. Bu işlevleri vLLM çıkarım motoruyla birleştirerek, zrt dil modeli hizmetlerini işleten geliştiriciler ve veri bilimi ekipleri için üretim odaklı bir iş akışı sağlar.

HP Snap Protainers, Linux için HP Z Runtime'i ticari Geliştirici Araçları yazılımı olarak yayınlar. GPU iş yüklerine sahip Linux sunucuları için tasarlanmıştır, özellikle bir ekip devam eden model çalışması yoluyla ortam hazırlığından kontrollü bir komut satırı yoluna ihtiyaç duyduğunda.

Ev sahibi Linux sağlamalı ve snapted olmalı ve desteklenen mimariler amd64 ve arm64'tür. Şu anki versiyonu 0,47,2'dir.