【Strata 0.2.3】アプリ版とターミナル版を検証|RTX 5060 Ti 16GB・128Kで生成が毎秒74→90トークンに

総パラメータ125BのMoEモデル「Qwen3.8-Flash-Next」を一般的なPCで動かす推論エンジン「Strata」が、前回検証したv0.1.43からv0.2.3(2026年10月23日リリース)に更新されました。前回の記事ではGitHubからダウンロードしたフォルダーで START-HERE.bat を実行してインストールしました。0.2系では、Windows用のインストーラーで入れるアプリ版と、1行のコマンドで入れるターミナル版が加わっています。

今回は前回と同じPC(RTX 5060 Ti 16GB、RAM 64GB)で、アプリ版とターミナル版をそれぞれインストールし、画面の使い方を確認しました。あわせて、前回と同じモデル・同じ128Kコンテキスト・同じ計測方法で速度を比べています。

  • Strataは「アプリ」「ターミナル(strata コマンド)」「エンジン」の3つに分かれました。アプリはインストーラーを実行するだけで入り、エンジンも同梱されています。画面は日本語表示にも対応しています
  • 前回ダウンロードしたモデル(68GB)はダウンロードし直さずに使えました。追加でダウンロードされたのは、画像を読み取るためのファイル(約0.9GB)だけです
  • 生成速度は毎秒73.9トークンから90.2トークンに上がりました(約22%向上)。約12万トークンのプロンプトを読み終えるまでの時間は、74.7秒から67.9秒に短くなりました
  • ターミナル版を既定の設定のまま起動すると、このPCでは生成が毎秒46トークン前後に落ちました。VRAMの予約が700MiBと少なかったことが原因で、--set vram-reserve-mib=1536 を付けて起動するとアプリ版と同じ速度に戻りました
  • ターミナル版の接続チェックで、Claude Code向けの設定(プロンプトとツール呼び出し)が2つとも成功しました

Strata 0.2系の主な変更点

0.1.43から0.2.3.1までの間に、5つのバージョンがリリースされています(いずれも2026年)。GitHubのスター数は3万1,000を超えました(10月24日時点)。

バージョン リリース日 主な変更点
0.2.0 10月19日 アプリ・ターミナル・エンジンの3つに分割。エンジンを同梱したインストーラー。画像入力を既定でオン。RAMとVRAMの合計からおすすめのモデルを選ぶ方式に変更
0.2.1 10月20日 アプリにタスクボード。標準ベンチマーク strata bench run。ダウンロードを16接続に高速化。手動で書き換えた設定が上書きされない
0.2.2 10月21日 GPUごとにMain・Helper・Offの役割を指定。アプリとターミナルでモデルフォルダーを共有。APIキーを任意に
0.2.3 10月23日 エージェントチャットのコンテキスト管理(/compact など)。CPUワーカー数やVRAMの既定値を見直し。ターミナル版の安定性を改善
0.2.3.1 10月23日 Windows・NVIDIA環境でセットアップが止まる不具合を修正(ターミナル版のみ)

インストール方法は、READMEで次の3つが案内されています。どれも同じエンジンを使い、同じモデルを読み込みます。

方法 向いている人 入れ方
A. Strataアプリ いちばん簡単に使いたい人 インストーラー(.exe)を実行
B. ターミナル版 スクリプトやサーバー、AIエージェントから使いたい人 PowerShellで1行のコマンド
C. AIにセットアップを任せる Claude CodeやCursorを使っている人 指定の文をコーディングエージェントに貼り付ける

今回はAとBを試しました。

検証環境

パーツ 内容
GPU NVIDIA GeForce RTX 5060 Ti 16GB(PCIe 5.0 x8、ドライバー617.42)
CPU AMD Ryzen 9 9900X(12コア24スレッド)
メモリ DDR5-5600 64GB(32GB×2)
ストレージ NVMe SSD 2TB(PCIe 4.0)
OS Windows 11 Pro
Strata アプリ0.2.3、エンジン0.1.48、ターミナル0.2.3.1
モデル Qwen3.8-Flash-Next IQ2_XS(ISTA-DASLabのGSQ-RCO量子化版。前回と同じファイル)
コンテキスト長 128K(131,072トークン)、KVキャッシュは8-bit

アプリ版をインストールする

1. インストーラーをダウンロードする

GitHubのリリースページから、OSとグラフィックカードに合うファイルを選びます。Windowsの場合は次のとおりです。

グラフィックカード ファイル
NVIDIA RTX(ドライバー580以降) Strata-0.2.3-windows-cuda13.exe(645MB)
NVIDIA(古いカード、ドライバーが580より前) Strata-0.2.3-windows-cuda12.exe
AMD Radeon RX 9000シリーズ、Radeon AI PRO R9700 Strata-0.2.3-windows-hip.exe
AMD Radeon RX 7000シリーズ、Ryzen AI Max Strata-0.2.3-windows-hip-rdna3.exe

RTX 5060 Tiでドライバーは617.42なので、cuda13 を選びました。リリースページの SHA256SUMS.txt にファイルごとのハッシュ値が載っているので、PowerShellで次のように確認できます。今回は値が一致しました。

Get-FileHash .\Strata-0.2.3-windows-cuda13.exe -Algorithm SHA256

インストーラーにはまだコード署名がありません。READMEによると、ブラウザーでダウンロードした場合は「WindowsによってPCが保護されました」と表示されることがあり、その場合は「詳細情報」→「実行」で進めます。今回はコマンドでダウンロードしたため、この画面は表示されませんでした。

2. インストーラーを実行する

Strataのインストーラーの最初の画面。State of the art. At home.と表示され、管理者権限は不要で約1分で終わると説明している

インストーラーは英語表示です。「Next」を押すと、インストール先を選ぶ画面になります。

インストール先の選択画面。既定ではユーザーフォルダー内のAppDataocalrogramstrataに入り、必要な容量は1.4GBと表示されている(ユーザー名はモザイク処理)

既定のインストール先は %LOCALAPPDATA%\Programs\Strata で、必要な容量は1.4GBです。ユーザー単位のインストールなので、管理者権限は必要ありません。モデルとチャットはアプリの中で選ぶデータフォルダーに別に保存されます。Cドライブの空きが少ない場合は、ここで別のドライブを選べます。

インストール完了画面。Open StrataとCreate desktop shortcutのチェックボックスがある

1分ほどで完了画面になります。「Open Strata」にチェックを入れたまま「Finish」を押すと、アプリが起動します。

初回セットアップ

アプリを初めて起動すると、「Welcome」「Your model」「Prepare」「Make it yours」の4ステップのセットアップ画面が開きます。初回は英語で表示されます(日本語への切り替え方は後述)。

Strataアプリの初回起動画面。State of the art. At home.の見出しと、Let's get startedボタンがある

モデルとコンテキスト長を選ぶ

モデルの選択画面。RAM 62GBとVRAM 16GBの合計78GBから、High quality(IQ3_S)がこのPC向けのおすすめとして表示されている

2つ目のステップではPCのRAMとVRAMを合計したメモリ量が表示され、それに合うモデルがすすめられます。このPC(RAM 62GB+VRAM 16GB=78GB)では、「High quality(IQ3_S、83.6GB)」がおすすめでした。前回の0.1.43のインストーラーはRAM 64GBのPCにIQ2_XSをすすめていたので、推奨が1段階上がっています。IQ3_Sは品質が最も高いぶん、速度は遅くなります(「May run slower」と表示)。

なお、「VRAM · 2 GPUs」と表示されているのは、CPU内蔵のGPU(AMD Radeon Graphics、0.0GB)も数えているためです。モデルの実行に使われるのはRTX 5060 Tiだけです。

前回と同じIQ2_XSを使うため、画面下のバージョン一覧を開いて「GSQ-RCO models」から「IQ2_XS」を選びました。

バージョンの一覧。Swift、GSQ-RCO、NVFP4、Gyro、Unslothのモデルが並び、GSQ-RCOの中にQ2_0、IQ2_XS、IQ3_XXS、Coder IQ1_Mがある

すでにモデルをダウンロード済みの場合は、「Already downloaded the model?」の「Choose folder」から、そのフォルダーを指定できます。今回は前回の検証で使ったデータフォルダー(Strata-data)を指定しました。最後に、右上の「Conversation context」で128Kを選びます(既定は32K)。

IQ2_XS(GSQ-RCO)とコンテキスト128Kを選んだ状態の画面

既存のモデルの再利用

Prepareステップの画面。Model files 2/2とEngineはDone、画像リーダーだけをダウンロードしていて、残りは0.2GBと表示されている

「Download model」を押すと、画面上は「68.0 GB to download」と表示されました。ただ、実際には前回ダウンロードしたモデルファイル2つがそのまま使われ(Model files 2/2 Done)、エンジンもアプリに同梱されているため、ダウンロードされたのは画像リーダー(約0.9GB)だけでした。0.2系では画像入力が既定でオンになっていて、VRAMが24GB未満のカードでは、画像の読み取りをCPUで行います。

PCの使い方を選んでチューニングする

Make it yoursステップの画面。Leave 20% for my work(普段使い)とUse full performance(最大性能)を選べ、Read pictures when this model loadsのチェックがオンになっている

最後のステップではPCのリソースをどれだけStrataに割り当てるかを選びます。

  • Leave 20% for my work:ほかの作業用に20%残す(既定)
  • Use full performance:PCをAIに集中させる

既定のまま「Tune & start chatting」を押すと、短い速度チェックとモデルの読み込みが行われ、47秒後にチャット画面が開きました。

なお、2つの設定で速度を比べたところ、このPCではほとんど差がありませんでした(後述)。

アプリの画面

表示を日本語にする

設定画面の外観タブ。言語を日本語に切り替えた状態で、フォントや表示サイズの項目が日本語で表示されている

左下の「More」→「Settings」→「Appearance」の「Language」で「日本語」を選ぶと、画面全体が日本語になります。英語、中国語、日本語、ドイツ語、スペイン語、ロシア語、ポルトガル語、韓国語の8言語に対応しています。

チャット

Strataアプリのチャット画面。ローカルLLMのメリットを3つ箇条書きで日本語で回答し、画面下に87 tok/sと表示されている

日本語で質問すると、自然な日本語で答えます。画面下には直前の回答の生成速度が表示され、この回答は毎秒87トークンでした(思考レベルはMedium)。

アプリのチャットはファイルの読み書きやコマンドの実行ができるエージェント機能付きです。入力欄の「手動」モードでは、ファイルを変更したりコマンドを実行したりする前に確認を求められます。最初のやり取りの時点で、コンテキストを約6,800トークン(128Kの5%)使っていました。質問と回答は合わせて200トークンほどなので、大半はエージェント用のシステムプロンプトとツールの定義です。

なお、画面下の速度表示は日本語表示にすると「{0}{1} tok/s · last reply」と翻訳の一部が崩れていました(0.2.3時点)。数値は正しく表示されます。

モニター

アプリのモニター画面。32Kトークンのプロンプトを読み込み中で、25k/32kトークン・77%、プリフィル速度は毎秒1,898トークン、GPU負荷99%、PCIe経由で毎秒22GBを転送している

モニター画面ではモデルの状態(待機中・読み取り中・生成中)、生成速度とプリフィル(プロンプトの読み込み)速度、GPU負荷、VRAM、GPU温度、消費電力、PCIeの転送量、CPU使用率、コンテキストの使用率などをリアルタイムで確認できます。上の画像は約3万2,000トークンのプロンプトを読み込んでいるところです。読み込み速度は毎秒1,898トークンで、GPU負荷は99%、PCIe経由で毎秒22GBのデータがGPUへ送られています。

モデル

モデル画面。IQ2_XS(GSQ-RCO)がダウンロード済みで、会話コンテキスト128K、リソース配分、画像を読み取る設定と、このコンピューターのグラフィックスメモリとRAMの使用量が表示されている(パスのユーザー名はモザイク処理)

モデル画面ではバージョン、コンテキスト長、リソース配分、画像入力のオン・オフを変更できます。設定を変えたら「読み込み解除」→「モデルを読み込む」で反映されます。「上級モード」を開くと、複数のモデルの同時実行や、KVキャッシュの形式、エンジンの設定ファイルも扱えます。

配信

配信画面。APIベースURLがhttp://127.0.0.1:47831/v1、モデルIDがiq2_xsと表示され、ローカルネットワークへの共有やAPIキーの設定、リクエストの履歴がある

「その他」→「配信」には、ほかのアプリから接続するためのURLが表示されます。アプリ版のAPIは http://127.0.0.1:47831/v1 で、モデルIDには iq2_xs を指定します(前回のソース版の 127.0.0.1:8080 とは異なります)。モデル名に任意の値を指定すると「Choose a loaded model ID.」というエラーになりました。ローカルネットワークへの共有やCloudflareトンネル、APIキーの設定もこの画面から行います。

curl http://127.0.0.1:47831/v1/chat/completions -H "Content-Type: application/json" -d "{\"model\": \"iq2_xs\", \"messages\": [{\"role\": \"user\", \"content\": \"Say hello in five words.\"}], \"max_tokens\": 64, \"reasoning_effort\": \"none\"}"

レスポンスには、前回と同じ形式の timings(読み込み速度、生成速度、MTPの予測数と採用数)が含まれていました。

情報

設定の情報画面。Strata 0.2.3、エンジン0.1.48と表示され、Strataの欄に「更新があります」というボタンが出ている

設定の「情報」で、アプリとエンジンのバージョンを確認できます。更新の確認はボタンを押したときだけ行われます。今回の環境では0.2.3を入れた直後なのに「A new version of Strata is available. Strata 0.2.3.」「更新があります」と表示されました。エンジンは「最新です」と表示されています。0.2.3.1はターミナル版だけの修正なので、アプリの最新版は0.2.3のままです。

ターミナル版をインストールする

ターミナル版はPowerShellで次の1行を実行してインストールします。

irm https://github.com/Niko1221/Strata/releases/latest/download/install.ps1 | iex

PowerShellでinstall.ps1を実行した画面。Terminal 0.1.48.1(69MB)をダウンロードし、Checksum ok、Signature okのあとInstalled. Run: strata launchと表示されている

スクリプトはPCの種類を調べたあとターミナル版(69MB)をダウンロードし、SHA-256とリリースの署名付きフィードを確認してから、%LOCALAPPDATA%\Strata\terminal に展開します。管理者権限は不要です。実行前に中身を読みましたが、PCに加える変更は展開とユーザーのPATHへの追加だけでした。

インストール後は新しいターミナルを開いてから strata コマンドを使います。すでに開いていたWindows Terminalでは、PATHが更新されず「用語 ‘strata’ は、コマンドレット…として認識されません」と表示されました。

アプリとターミナル版はモデルフォルダーを共有するので、アプリで準備したモデルがそのまま見えます。

strata models listを実行した画面。iq2_xsがpresentと表示されている

strata launch でセットアップする

strata launch を実行すると、ターミナル上でセットアップ画面が開きます。矢印キーで選んでEnterで進む9ステップの構成です。

strata launchのStep 1 Model。モデルごとにダウンロード容量と必要なメモリ、このPCに収まるかどうかが表示され、IQ2_XSにはfits (installed)と表示されている

Step 1ではモデルを選びます。モデルごとにダウンロード容量、必要なメモリ(RAM+VRAM)、このPCに収まるかどうかが一覧で表示されます。インストール済みのIQ2_XSには「fits (installed)」と表示されていました。

Step 2 Folder。Already downloaded (68 GB on this computer). Nothing more to download.と表示されている(パスのユーザー名はモザイク処理)

Step 2は保存先のフォルダーです。モデルがすでにあるので、「Nothing more to download.」と表示されました。

Step 3 Context。8Kから512Kまでのコンテキスト長と、それぞれが使う追加のメモリが表示され、128Kを選んでいる

Step 3はコンテキスト長です。16GBのカードでは64Kがおすすめと表示されますが、今回は128Kを選びました。128KのKVキャッシュに必要なメモリは+1.8GBと表示されています。

このあと、画像入力のオン・オフ(Step 4)、同時に処理するリクエスト数(Step 5、16GBのカードでは1がおすすめ)を選びます。

Step 6 Tuning。Quick(約20分)、Thorough(最大2時間)、Skipから選べる

Step 6はチューニングです。Quick(約20分)とThorough(最大2時間)はこのPCに合う設定を測定して探します。今回はアプリ側で速度チェック済みだったので「Skip」を選びました。Step 7の「Advanced」ではエンジンの全142項目の設定と、実際に実行されるコマンドを確認できます。

Step 8 Access。このコンピューターのみ、ローカルネットワーク、Cloudflareトンネル、Tailscaleから接続できる範囲を選べ、ポートとAPIキーの設定がある(ローカルIPアドレスとホスト名はモザイク処理)

Step 8では接続できる範囲を「このコンピューターのみ」「ローカルネットワーク」「Cloudflareトンネル」「Tailscale」から選びます。「このコンピューターのみ」ではAPIキーは不要で、それ以外を選ぶとAPIキーが自動で作られます。

Step 9 Save。モデル、コンテキスト、画像、同時処理数、チューニング、アクセスの設定内容が一覧で表示され、プリセット名を付けて保存して起動できる(パスのユーザー名はモザイク処理)

最後に、設定をプリセットとして保存して起動します。2回目以降は保存したプリセットを選んでEnterを押すだけで起動できます。

strata launchの開始画面。保存したプリセットIQ2_XS 128Kが一覧に表示されている

起動中の画面。Engine、Model、Settingsにチェックが付き、Loading the model…と表示されている

ターミナル版のモニター

起動が終わると、同じウィンドウにモニターが開きます。キーの1〜7で、Overview、Serving、Requests、Engine、Hardware、Logs、Connectの7つの画面を切り替えられます。

ターミナル版モニターのOverview。回答を生成中で、967/1,500トークン、生成速度は毎秒102.4トークン、GPU負荷99%、VRAMは16GB中15.3GBを使用している

上の画像は回答を生成しているところで、このときの生成速度は毎秒102.4トークンでした(VRAMの予約を1536MiBにして起動した状態。理由は後述)。

Claude Codeとの接続をチェックする

ターミナル版モニターのConnect画面。OpenCode、Codex CLI、Claude Codeなど8つのアプリの設定が並び、Claude CodeのThis serverがPassed (2/2)になっている

「7 Connect」ではOpenCode、Codex CLI、Claude Codeなどのコーディングエージェント向けの設定を確認できます。c で設定をコピーし、w でバックアップを取ったうえで設定ファイルに書き込み、h でこのサーバーに実際にリクエストを送って動作を確認します。

Claude Codeを選んで h を押すと、プロンプト(「pong」と回答)とツール呼び出し(get_weather に {"city": "Paris"})の2つのチェックがどちらも成功し、「Passed (2/2)」になりました。画面には、Claude Code向けに次の点が注意として表示されています。

  • ANTHROPIC_BASE_URL は /v1 を付けない http://127.0.0.1:8080 にする(Claude Codeが自分で /v1/messages を付けるため)
  • CLAUDE_CODE_MAX_CONTEXT_TOKENS にサーバーのコンテキスト長(今回は131072)、CLAUDE_CODE_MAX_OUTPUT_TOKENS に4096を設定する。設定しないと、Claude Codeは100Kのウィンドウを前提に動き、会話の圧縮がうまく働かない

モニターで q を押すと、「バックグラウンドで稼働を続ける」か「停止してメモリを解放する」かを選べます。停止は strata launch --stop でもできます。

速度ベンチマーク

計測方法

前回と同じ方法で測りました。計測に使ったのは、Strata 0.1.43に付属していたベンチマークツール(tools/strata_bench.py)の計測部分に、64Kトークンと約12万トークンのプロンプトを追加したものです。思考はオフ、temperatureは0とし、各項目を3回測った中央値を載せています。

0.2.3はアプリ版で起動し、アプリのAPI(127.0.0.1:47831)に対して計測しました。リソース配分は既定の「自分の作業用に20%残す」と「最大性能」の両方で測っています。前回の0.1.43の値は2026年10月15日に同じPC・同じモデルファイル・同じドライバーで測ったものです。

計測結果

項目 0.1.43(前回) 0.2.3(20%残す) 0.2.3(最大性能)
短いチャットの生成速度 73.9 トークン/秒 90.2 トークン/秒 91.6 トークン/秒
4Kトークンの読み込み 1,495 トークン/秒(2.72秒) 1,641 トークン/秒(2.49秒) 1,649 トークン/秒(2.47秒)
16Kトークンの読み込み 1,682 トークン/秒(9.59秒) 1,843 トークン/秒(8.77秒) 1,852 トークン/秒(8.70秒)
32Kトークンの読み込み 1,693 トークン/秒(18.98秒) 1,858 トークン/秒(17.29秒) 1,862 トークン/秒(17.25秒)
64Kトークンの読み込み 1,678 トークン/秒(38.22秒) 1,827 トークン/秒(35.10秒) 1,831 トークン/秒(35.06秒)
約12万トークンの読み込み 1,607 トークン/秒(74.73秒) 1,769 トークン/秒(67.94秒) 1,785 トークン/秒(67.31秒)
エージェント風の会話の生成速度 80.9 トークン/秒 90.1 トークン/秒 87.7 トークン/秒
エージェント風の会話の応答開始 2.38秒 2.23秒 2.40秒

カッコ内は最初のトークンが出るまでの秒数です。

短いチャットの生成速度は22%向上し、プロンプトの読み込みもどの長さでも約10%速くなりました。約12万トークンのプロンプトでは、答え始めるまでの時間が74.7秒から67.9秒に短くなっています。

リソース配分の「20%残す」と「最大性能」の差はどの項目も2%以内でした。このPCでは既定の「20%残す」のままで問題なさそうです。

長い文脈を読んだ後の生成速度

プロンプトを読み込んだ後に24トークンを生成したときの速度です(3回の中央値)。

読み込んだプロンプト 0.1.43(前回) 0.2.3(20%残す) 0.2.3(最大性能)
4Kトークン 66.0 トークン/秒 70.4 トークン/秒 75.7 トークン/秒
32Kトークン 65.1 トークン/秒 84.2 トークン/秒 78.0 トークン/秒
64Kトークン 61.1 トークン/秒 83.0 トークン/秒 79.9 トークン/秒
約12万トークン 71.0 トークン/秒 67.6 トークン/秒 74.3 トークン/秒

生成したのは24トークンだけなので目安ですが、32Kや64Kトークンを読んだ後の生成は、前回より2〜4割速くなっています。

12万トークンの中の情報を正しく拾えるか

前回と同じく、約12万トークンの英単語の列の10%・50%・90%の位置に「赤いドアの暗証コードは7341」といった英文を1つずつ埋め込み、最後に3つのコードを答えさせました。

モデルは3つのコードをすべて正しく答えました(最初のトークンまで67.8秒)。ただし、回答の冒頭で単語の列の要約を5文ほど書いてから、コードを答えています。出力の上限を64トークンにした最初の試行では、要約の途中で打ち切られてコードまでたどり着かなかったため、上限を300トークンにして測り直しました。

標準ベンチマーク

0.2.1から、ターミナル版に標準ベンチマーク strata bench run が加わりました。決められた22件のリクエスト(うち必須21件)を思考ありの設定で送り、速度と回答の健全性(指示への従い方、情報の取り出し、ツール呼び出し)をまとめてチェックします。起動中のサーバーに対して実行でき、今回は3分17秒(ハッシュ計算を省いた2回目は2分19秒)で終わりました。

strata bench run --url http://127.0.0.1:8080
項目 1回目(通常) 2回目(–skip-model-hash)
短い質問の生成速度 39.2 トークン/秒 74.9 トークン/秒
4Kトークン:読み込み/生成 1,573 / 39.7 トークン/秒 1,570 / 73.7 トークン/秒
16Kトークン:読み込み/生成 1,828 / 40.7 トークン/秒 1,835 / 67.8 トークン/秒
健全性チェック 12件中12件合格 12件中12件合格
判定 complete nonconforming(ハッシュなし)

1回目は、生成速度が自前のベンチマークの半分以下になりました。strata bench run は最初にモデルファイル(約39GB)のSHA-256を計算します。RAM 64GBのPCでは、この読み込みでWindowsのファイルキャッシュが膨らみ、エンジンが使っているメモリの一部がページファイルに追い出されたと考えられます。ハッシュの計算を省く --skip-model-hash を付けた2回目は、思考ありでも毎秒68〜75トークンでした。ただし、ハッシュがない結果は「nonconforming」扱いになり、コミュニティへ提出する正式な結果にはなりません。

つまずいた点と注意点

ターミナル版のVRAMの予約

ターミナル版で、アプリと同じモデル・同じ128Kで起動したところ、速度が大きく落ちました。

項目 ターミナル版(既定) ターミナル版(予約1536MiB) アプリ版(既定)
短いチャットの生成速度 46.1 トークン/秒(26.2〜99.2) 85.8 トークン/秒 90.2 トークン/秒
4Kトークンの読み込み 1,470 トークン/秒 1,550 トークン/秒 1,641 トークン/秒
32Kトークンの読み込み 1,685 トークン/秒 1,885 トークン/秒 1,858 トークン/秒
約2万4,000トークンを読んで700トークン生成 読み込み406 / 生成25.7 トークン/秒 読み込み1,831 / 生成85.4 トークン/秒 −

既定の状態では生成速度が毎秒26〜99トークンと大きくばらつき、長いプロンプトでは読み込みが毎秒406トークンまで落ちました。

エンジンのログ(今回は %LOCALAPPDATA%\Strata\launch\iq2_xs-128k.engine.log。ファイル名はプリセット名によって変わります)を確認すると、VRAMの予約が700MiBになっていて、モデルを読み込んだ後のVRAMの空きは141MiBしかありませんでした。ログには次の警告が出ています。

strata serve: 141 MiB of VRAM free with everything loaded - LOW: requests may stall; add --vram-reserve-mib 1071 to the config's args (or lower --max-context)
strata serve: WARNING: only 164 MiB of VRAM free at the start of this request (below 1024 MiB): when the card is this full the driver can page GPU memory to system RAM, decode falls to a few tok/s ...

0.2.1から、画面を表示していないと判定されたカードでは、VRAMの予約が512MiB(画像入力ありは700MiB)に減らされています。このPCでもRTX 5060 Tiがその判定になったようですが、Strataを起動する前から、ほかのアプリがVRAMを約1GB使っていました。アプリ版は予約を1536MiBに固定しているため、この問題は起きませんでした。

ターミナル版では --set で予約を指定して起動すると解決します。--save-preset を付けると、次回からもこの設定で起動します。

strata launch --preset "IQ2_XS 128K" --set vram-reserve-mib=1536 --save-preset "IQ2_XS 128K"

ほかにもGPUを使うアプリを開いている場合は、ターミナル版で起動したあと、モニターのVRAMの空きか、エンジンのログに「LOW」の警告が出ていないかを確認するのがおすすめです。

RAM 64GBでのメモリ使用量

IQ2_XSは約39GBのエキスパートをRAMに読み込みます。RAM 64GBのPCでは、ほかのアプリのメモリ使用量に注意が必要です。今回、WSL(約4GB)などほかのアプリも動いていた状態では、エンジンのログに「Windowsのコミット上限(RAM+ページファイル)の残りが少ない」という警告が出ていました。

strata serve: WARNING the Windows commit limit is 76.7 GiB (RAM + page file) and 3.3 GiB of it is left ... Raise the page file (System managed, or RAM-sized) ...

ログではページファイルを「システム管理」かRAMと同じサイズにすることが推奨されています。ファイルキャッシュでモデルが追い出された状態でターミナル版を起動し直したときは、エキスパートの読み込みが毎秒0.18GiBまで遅くなり、起動に5分以上かかりました。

アプリの表示の不具合

  • チャット画面下の速度表示が「{0}{1} tok/s · last reply」と表示される(日本語表示のとき)
  • 設定の「情報」で、0.2.3なのに「更新があります」と表示される

どちらも0.2.3時点の不具合で、動作には影響しませんでした。

ソース版からの移行

前回のようにGitHubのフォルダーで START-HERE.bat を実行して使っている場合、READMEによると UPDATE.bat で更新できます。今回はソース版をそのまま残し、アプリ版とターミナル版を新しく入れて、モデルのデータフォルダーだけを共有しました。アプリの初回セットアップでデータフォルダーを指定すれば、モデルをダウンロードし直さずに移行できます。

コメント

タイトルとURLをコピーしました