Gemma 3

Führen Sie Gemma 3-Inferenz lokal unter Linux durch einen Snap aus, der eine für das Modell optimierte Umgebung liefert. Ubuntu veröffentlicht es als Generativ-KI-Paket, das die verfügbare Hardware des Host-Computers in einen lokalen Inferenzdienst verwandelt. Der Snap erkennt die CPU, GPU oder NPU des Systems und wählt automatisch passende Laufzeit- und Modellgewichtsoptimierungen aus.

Benutzer interagieren mit Gemma 3 über die Befehlszeilenschnittstelle, einschließlich des Befehls "gemma3 --help" zur Benutzerführung. Anwendungen können sich auch über eine standardisierte lokale API verbinden, so dass Entwickler eine konsistente Möglichkeit haben, KI-Funktionen hinzuzufügen, ohne für jeden Hardwaretyp separat zu stimmen. Typische Anwendungen umfassen die Bereitstellung lokaler Modellfunktionen für IDEs, Chatbots und Medienbearbeitungssoftware.

Der Host muss Linux mit Snapd ausführen, und die erforderlichen Hardwaretreiber müssen installiert werden, bevor die Inferenz beginnt. Das Paket unterstützt amd64- und arm64-Architekturen und eignet sich somit für kompatible Desktop-, Workstation-, Server- und andere Linux-Systeme. Gemma 3 ist Freeware, während die Nutzung des Modells den Nutzungsbedingungen von Gemma unterliegt; Lizenzen für gebündelte Software sind im Snap unter /snap/gemma3/current/usr/share/doc verfügbar. Die aktuelle Version ist 2.0.0-beta.14 + a169df7.