whisper-base+WebGPUで全基準クリア
実測カルテ①(whisper-tiny)のNO-GOを受け、モデルをwhisper-baseに切り替えて再測定。recall・誤受理はCPUでも基準達成、レイテンシはWebGPU実行への切替で基準内に収まりました。
① 検証課題
実測カルテ①でwhisper-tinyがNO-GOだったことを受け、モデルサイズをwhisper-baseに上げると同じ試験セットで基準をクリアできるか。また、CPU(WASM)実行とWebGPU実行でレイテンシがどう変わるか。
② 環境
- モデル: onnx-community/whisper-base(encoder int8 / decoder fp16)
- 実行方式(2条件を比較): ①CPU(onnxruntime-web, WASM実行) ②WebGPU(
navigator.gpu、ホストのGPUを使用) - ブラウザ: Chromium(Playwright 1.61.1バンドル版、headless制御)
- 実行日: 2026-07-17
- GPU: NVIDIA RTX A6000(測定時のセッション記録より)
- CPU・OS: 実行環境のCPU型番・OSはハーネスのログに記録なしです。WebGPUの実測値はホストのGPU性能に依存するため、下記の数値は「この検証環境での参考値」として扱ってください。
- 音声条件・試験セット: 実測カルテ①と同一。静音/SNR10dB/SNR5dBの3条件、各条件20発話(呼称10種+雑談10種を話者2種=ja-JP-KeitaNeural/ja-JP-NanamiNeuralに配分)、3条件合計60発話
- 照合方法: 実測カルテ①と同一(かな読み変換+類似度60を一致判定のしきい値)
③ 判定基準(事前に置いた基準)
実測カルテ①と同一の基準(測定スクリプトのdocstringに明記)。
| 指標 | 基準 |
|---|---|
| recall(静音) | 90%以上 |
| recall(雑音下: SNR10dB・SNR5dB) | 80%以上 |
| 誤受理率 | 5%以下 |
| p95レイテンシ | 2500ms以下 |
④ 結果(実測値)
ミリ秒の実測値は小数点以下を四捨五入して表記します(本ページ・関連カルテ共通の丸め規則)。
recall・誤受理率はCPU/WebGPUどちらも全条件で基準を達成しました(CPUとWebGPUで同じwhisper-baseを使用しており、認識結果そのものに差が出る理由がないため)。差が出たのはレイテンシです。
| 条件 | recall(基準90%/80%) | 誤受理率(基準5%以下) | p95: CPU/WASM(基準2500ms) | p95: WebGPU(基準2500ms) |
|---|---|---|---|---|
| 静音 | 100% | 0% | 2948ms(未達) | 1573ms(達成) |
| SNR10dB | 100% | 0% | 3068ms(未達) | 1598ms(達成) |
| SNR5dB | 100% | 0% | 2947ms(未達) | 1644ms(達成) |
| 全体(ALL) | 100% | 0% | 3027ms(未達) | 1606ms(達成) |
CPU(WASM)はp95が全条件で基準(2500ms以下)を超過。WebGPU実行に切り替えると全条件・全指標で基準をクリアしました。
実測できた落とし穴:初回モデルロードに約8〜10秒
ウォームアップ計測では、CPU(WASM)のモデルロードが約9.9秒(9934ms)、WebGPUのモデルロードが約8.4秒(8444ms、上記レイテンシ表と同一run)かかりました。この初回ロード時間は上記のレイテンシ表(発話終了→判定)には含めていません。「初回だけ長く待たされる」という体験は、現場での運用設計(起動タイミング・事前ウォームアップの要否)を検討する際の実測材料になります。
⑤ この実測から言えないこと
- WebGPUの実測値は実行環境のGPU性能に依存します。WebGPU非対応・低性能な環境ではCPU実行にフォールバックし、その場合のレイテンシは上表のCPU(WASM)実測値に近づくと考えられます(基準超過の可能性)。対応状況はWebGPU対応状況を参照してください。
- 試験セットは実測カルテ①と同一(edge-tts合成音声2話者・呼称10種)です。実際の現場音声での再検証はしていません。
- 初回モデルロード時間(約8〜10秒)は今回1回の計測です。ブラウザキャッシュの状態やネットワーク条件で変動します。
- この実測はrecall・誤受理・レイテンシの基準達成を示すもので、記録の最終確認や様式適合まで自動化してよいことを意味しません。
⑥ 再現方法
同方式のブラウザ内ASRは音声文字起こしデモ、指差呼称の記録は指差呼称チェッカーで試せます。WebGPU対応ブラウザでは自動的に高速な実行経路が使われます。
測定ハーネス一式と生の実測データは社内の検証用リポジトリに保存済みです(本サイトの公開リポジトリには含まれません)。数値の再検証をご希望の場合はお問い合わせください。
出典(内部データファイル名・参考情報): recall/誤受理率/CPU p95はasr/arm2_score_summary.json。WebGPU p95・ウォームアップ8444msは同一runのasr/arm2_webgpu_score_summary.jsonとasr/arm2_webgpu_batch_results.json。CPUウォームアップ9934msはasr/arm2_batch_results.json。
関連する業務ページ
この実測が、自社の記録用途にそのまま使えるかを先に整理する
この仕組みが自分の現場に要るか、先に整理する
いくつかの質問に答えると、次に試すデモ・追加で確かめること・PoC受入基準のひな型が表示されます。登録は不要で、結果はその場で全部見られます。
意思決定室で整理する(登録不要・約3分)