日本語LLMの速さは「char/s」で測れ

同じ tok/s でも、見える文字数は約1/3.5

RTX 4060ノート・qwen2.5:7b・同一プロンプト長で、英語と日本語を実測（どちらも 52 tok/s）。

tok/s は同じ「52」でも、英語は秒間287文字・日本語は81文字。「50 tok/s 出ます」という宣伝は、日本語では実速度を約3.5倍大きく見せていることになります。

なぜ？ トークナイザの「文字密度」

LLMはテキストを「トークン」という単位で処理します。英語は1トークンに平均5文字前後（"tion" など）が入りますが、日本語は漢字・かなで1トークンあたりの文字数が少なく（実測で約1.5文字）、 さらに同じ内容を表すのに必要なトークン数も多くなりがちです。 結果、tok/s が同じでも日本語は「出る文字」が少ない。 だから日本語ユーザーは tok/s ではなく char/s を見るべきなのです。

実機の日本語 char/s（4機種）

実用の目安：日本語の黙読は約7〜10文字/秒（経験則・要検証）。Pi 5(CPU)の約18文字/秒でも読む速さは超えており実用圏、ノートやMacは待ちほぼゼロ。 全機種・モデルサイズ別・GPU vs CPU は エッジAI実機ベンチ大全 に掲載。

自分の環境で char/s を測る

Ollama を入れていれば、APIの返り値から計算できます（response の文字数 ÷ 生成時間）。

# 日本語プロンプトで生成し、char/s を算出（要 python3）
python3 - <<'PY'
import urllib.request, json
body=json.dumps({"model":"qwen2.5:7b",
  "prompt":"エッジAIとは何かを日本語でくわしく説明してください。",
  "stream":False,"options":{"num_predict":256}}).encode()
d=json.load(urllib.request.urlopen(urllib.request.Request(
  "http://127.0.0.1:11434/api/generate",body,{"Content-Type":"application/json"})))
dur=d["eval_duration"]/1e9; chars=len(d["response"])
print(f"tok/s={d['eval_count']/dur:.1f}  char/s={chars/dur:.1f}  文字/トークン={chars/d['eval_count']:.2f}")
PY

よくある質問