LocalSubs0.7.0

LocalSubsは、ストリーミング動画の英語字幕を繁体字中国語にリアルタイムで翻訳し、字幕テキストを外部サービスに送信する代わりに、コンピューター上で処理します。元の英語のセリフを維持しながら、台湾向けに最適化された繁体字中国語字幕を追加し、視聴者が otherwise 見逃してしまう可能性のある英語コンテンツを理解するのに役立ちます。翻訳には、このタスク用にファインチューニングされた0.6Bのローカルモデルを使用しています。

クロム延長はHBO Maxのために意図され、Chrome、クロムおよびマイクロソフトの端と働かせます。 そのManifest V3背景サービスワーカーは、WebLLM、新しいインストールのデフォルトバックエンド、またはオプションのネイティブバックエンドを介して字幕の翻訳をルーティングします。 WebLLM は WebGPU を介して拡張機能でモデルを実行し、GPU 専用で、シェーダー F16 対応のブラウザ構成の WebGPU アダプターが必要です。サポートされていないハードウェアは、ネイティブヘルパーを代わりに使用できます。

ネイティブ バックエンドは、Chrome Native Messaging を介して localsubs_helper に接続し、CPU または NVIDIA CUDA で llama.cpp を実行します。CUDA を使用するとレイテンシが最小になります。新しいインストールではヘルパーなしで WebLLM を使用しますが、既存のネイティブのみのセットアップではそのバックエンドが維持されます。バックエンドを切り替えると、ブラウザを再起動せずに非アクティブなエンジンをアンロードするか、ネイティブ接続をリセットします。キャッシュされた WebLLM アーティファクトは IndexedDB を使用します。コンテンツスクリプトはキャッシュ済みモデルを事前ウォームアップできますが、未キャッシュモデルの準備は拡張機能の設定ページに任せます。

Aiden1020のオープンソースシステムツールソフトウェア、バージョン0.7.0は、Windows 10以降、Windows Server 2016以降、およびx64システムをサポートしています。また、拡張機能はApple SiliconまたはIntelでmacOSをサポートしています。 現在のリリースは、ブラウザベースのWebLLMの推論を追加し、ArtifactのキャッシュをindexedDBに変更します。その生成モデルは、256トークンのコンテキストウィンドウ、16トークンの出力制限、およびq4f16 1の約272 MBを使用します。