HP Z Runtime0.51.2

Запустите команды zrt для подготовки среды vLLM и обслуживания больших языковых моделей с сервера Linux. Интерфейс командной строки обрабатывает задачи жизненного цикла модели, от получения модели до запуска и наблюдения за ее рабочей нагрузкой. Он предоставляет HTTP API, совместимый с OpenAI, позволяя клиентам и службам, которые используют этот интерфейс, отправлять запросы на вывод.

Модели могут быть извлечены из Hugging Face, Azure ML или MLflow, затем обслуживаются, используются для интерактивного чата и контролируются через тот же CLI. Автоматическое управление памятью GPU помогает координировать модель, обслуживающую хосты, работающие с рабочими нагрузками GPU. Объединив эти функции с движком вывода vLLM, zrt обеспечивает ориентированный на производство рабочий процесс для разработчиков и групп по науке о данных, работающих с сервисами языковой модели.

HP Snap Maintainers публикует HP Z Runtime для Linux в качестве коммерческого программного обеспечения для разработчиков. Он предназначен для серверов Linux с рабочими нагрузками GPU, особенно когда команде требуется контролируемый путь командной строки от подготовки среды до текущей работы модели.

Хост должен предоставлять Linux и snapd, а поддерживаемые архитектуры — amd64 и arm64. Текущая версия 0.51.2.