エッジAI実機検証DB

最大 ×4.2（RTX 4060 / 7B）

同一機内で num_gpu=0 にしてCPU実行と比較すると、専用VRAMのRTX 4060ノートでも0.5Bで×2.8・7Bで×4.2が最大。統合メモリ機はさらに小さい。よく言う『10〜20倍』はエッジ級では観測されない（単発推論がメモリ帯域律速のため）。

統合メモリ ×1.1〜1.7／専用VRAM ×4超

Mac mini M4・Jetson Orin Nanoの統合メモリ(LPDDR5)はCPUと帯域を共有するためGPU優位が小さい（≦1〜1.7倍）。専用VRAM(GDDR6)を持つRTX 4060は効く。チップのTOPSより『メモリの種類と容量』が体感速度を決める。

RTX 4060 / 14B で ×2.2 に低下

RTX 4060ノートは7Bで×4.2まで伸びるが、14BではVRAM容量を超えて×2.2まで落ちた。『載り切るか』が速度を左右する。大きいモデルは量子化やモデル縮小、またはVRAMの大きいGPUが要る。

YOLOv8m 76 FPS・ResNet-50 308 FPS（ビジョン側の真価）

Hailo-8/8L/10HはHailoRT/TAPPASという専用ランタイム向けにコンパイルしたモデルしか実行できず、汎用のOllama/llama.cppが読むGGUF形式はNPU非対応でCPU実行にフォールバックする（Pi 5のCPU実行は約11 tok/s）。ただしHailo-10H限定でHailo公式のGenAI専用ツール『hailo-ollama』を使えばNPU上でLLMを動かせる（→ npu-genai-hailo10h）。旧型のHailo-8Lにはこの経路がなく、ビジョン専用のまま。

Llama3.2 1B: NPU 9.69 > CPU 8.72 tok/s／Qwen2.5 1.5B: NPU 7.23 < CPU 11.76 tok/s

Raspberry Pi 5 + AI HAT+2（Hailo-10H・HailoRT 5.3.0）に実機SSHで接続し、Hailo公式のOllama互換サーバ『hailo-ollama』(NPU)と同一機の素のOllama(CPU)を同一プロンプト・num_predict=80・ウォームアップ1回破棄後の単発計測で比較。Llama3.2 1BはNPUがCPUより約11%速いが、Qwen2.5 1.5BはCPUの方が約63%速く、「40 TOPSだから常に速い」は成立しない（小型LLMはメモリ帯域律速のため）。Qwen2.5のNPU出力にごく軽微な文字化けも確認。公式パッケージ(hailo-gen-ai-model-zoo)にVLMモデルは含まれず、Hailoが謳うVLM対応はこの範囲では未確認。単発計測のため複数回平均ではない点に注意。

TGP 公称115W → 実機 既定60W

同じRTX 4060 Laptopでも、薄型ノートの電力設計で実性能は変わる。公称TGP最大115Wに対し実機は最大95W・既定60W。最終判断は『公称TOPS』ではなく『タスク別の実測(tok/s・FPS・電力)』が確実。

同52 tok/s で 英287／日81 char/s（約1/3.5）

日本語は1トークンが約1.5文字（英語は約5.5文字）。同じ52 tok/sでも日本語ユーザーが見る文字数は英語の約1/3.5。tok/s表記は日本語の実速度を約3.5倍過大に見せる。比較は char/s で。

エッジ9モデル実測 = 簡体字 0

qwen2.5/qwen3/qwen3.5/gemma3・lfm（0.5〜8B）を簡体字混入検出器で実測。日本語指示あり・なし・thinking無効のいずれでも簡体字はゼロ（クリーン）。噂を鵜呑みにせず一次データで確認した。

訪問端末で匿名実測・集計中

対応外のGPU命令だとWASM(CPU)へフォールバックして遅く・発熱・タブ落ちが起こる。どの端末で動くかは多数の実機で集めるしかない。当サイトは訪問端末の結果（端末能力＋成否のみ・匿名）を集計し地図にしている。

約18 char/s（黙読 約7〜10字/秒）

Raspberry Pi 5(CPU)のqwen2.5:1.5Bは約18 char/s。日本語の黙読は概ね7〜10字/秒（経験則・要検証）なので、安価なエッジ機でも『読む速さより速い』＝待ち時間の少ない実用圏に入る。

物体検出 iPhone15Pro 47 / iPad Air M2 54 fps

ブラウザ(WebGPU/GPU)での物体検出・姿勢推定・画像分類は、モバイルでも概ね30〜60fps出る。『スマホでAIは無理』は誤解で、軽量モデルなら手元の端末で実用速度に達する。

RPi5 CPU 7fps → +Hailo 40fps（約5.7倍）

Raspberry Pi 5単体(CPU)の物体検出は約7fpsだが、AI HAT+(Hailo)を足すと約40fpsへ。1〜2万円台のエッジでも、NPUを併用すれば現場運用に足るFPSが出る。

11〜57 tok/s（Pixel 8 11 ／ MacBook Pro 57）

同じブラウザLLMでも、ハイエンドPCは数十tok/sで快適、低価格スマホは一桁台で待ちが出る。LLM体験は端末性能の影響が大きい（日本語はtok/sでなくchar/sで体感を測ること）。

実測FPS÷W：Pi+Hailo ~5.0 ／ Jetson ~3.8 ／ RTX4060 ~0.2

物体検出の実測FPSを消費電力で割ると、Pi5+Hailo(8W)やJetson(15W)はデスクトップGPU(300W)より桁違いに電力効率が高い。常時稼働・現場設置ではエッジ専用機が効く（公称W使用・経験則）。

精度を下げる更新は不採用（単調非減少ラチェット）

連合学習(FL)は端末のデータを送らずモデルだけを共有する。当ラボのFL実装はクライアント更新を品質ゲートで評価し、精度を下げる（悪意ある）更新を棄却。ブラウザで攻防を体験できる。

qwen2.5:7b: Q4 165 ／ Q8 111 ／ fp16 65 char/s（簡体字いずれも0）

同一モデル(qwen2.5:7b)を量子化だけ変えてRTX A6000で実測。char/sはQ4_K_MがQ8_0の約1.49倍・fp16の約2.52倍。簡体字混入は3精度ともゼロ、かな比率0.67〜0.71で日本語として自然。文字レベルの日本語品質は量子化で崩れず、速度はQ4が有利（推論の正答率は別軸・要検証）。

27秒の日本語音声: turbo 34×(CER4.7%) ／ base 35×(5.5%) ／ small 17×(7.9%)

transformers の Whisper を RTX A6000(fp16) で実測。3モデルとも実時間の17〜35倍速（RTF 0.03〜0.06）で、large-v3-turboは最速クラスかつ最も正確。音声認識はLLM生成より軽く、エッジでも実用十分。※CERは27秒1クリップ(クリーンな合成音声)の参考値・要検証。

char/s: qwen2.5:7b 169 ／ llama3.1:8b 162 ／ mistral:7b 138（簡体字いずれも0）

同一和文プロンプト・同サイズ帯(7-8B Q4)をRTX A6000で横断実測。char/sはqwen2.5≒llama3.1>mistral。簡体字混入はQwen系含め全モデルで0＝日本語純度は良好。一方で出力の癖は別で、mistralは英語混じり・llama3.1はMarkdown多用・thinking型(lfm2.5等)は思考が英語化し比較対象外。

応答時間: Qwen2.5-VL-3B 0.93s ／ 7B 1.61s（被写体を正確に同定）。SmolVLM-256Mは説明失敗

写真を「日本語で説明して」とVLMに依頼しRTX A6000で実測。Qwen2.5-VL 3B/7Bは約1〜1.6秒で被写体を正確に同定（猫2匹・テレビのリモコン・ソファ）、3Bが最速。極小のSmolVLM-256Mは速いが指示を反復するだけで説明できず＝VLMはモデルサイズが品質の下限を決める。