指差呼称チェッカー（研修・記録補助）
「見る→指す→呼称」のうち指す＋呼称を、ブラウザ内のAI（MediaPipe＋Whisper）で時系列採点する研修・記録補助ツール。模擬設備10シナリオで指差と発話の順序・内容を判定します。映像・音声は端末外へ送信・保存しません。
🧪 このデモは実験・検証中です
「指差呼称の型（指す→呼称の順序・呼称の一致）をブラウザ内AIでその場採点できれば、研修・自己練習の記録補助になる」という仮説を、模擬設備10シナリオのMVPで検証中。
🤝 仲間を募集中：現場研修・安全教育の実務者の試用フィードバック／実際の呼称語彙・様式の知見／実声データでの精度検証への協力——デモに協力できる方がいれば、ぜひご連絡ください。
協力の連絡をする安全管理体制・KY活動の「代わり」ではありません
このデモは、法令・社内規程に基づく安全管理体制やKY（危険予知）活動を置き換えるものではありません。指差呼称の「型」（指す→呼称の順序・呼称の内容）を、研修や自己練習の場でその場採点する記録補助ツールという位置づけです。認識誤りが起こり得るため、最終的な確認・判断は必ず人が行ってください。
使い方
カメラ・マイクを許可する
「はじめる」を押すとカメラ・マイクの利用許可を求めます。映像・音声はすべて端末内で処理します。
AIモデルを読み込む
指差検出（MediaPipe）と呼称の音声認識（Whisper base）を読み込みます。呼称モデルは初回のみ約127MBのダウンロードが発生します。
見る→指す→呼称
画面の模擬設備を確認し、正しい対象を指差しながら「〇〇ヨシ」と声に出して呼称します。
AIが時系列で採点
「指す（ゾーンに指が入った時刻）→呼称（発話区間）」の順序と内容をAIが判定し、シナリオごとの合否を記録します。
結果をCSVで書き出す
全シナリオの合否・所要・認識内容をCSVでダウンロードできます。
何をどう判定しているか
👉 指差検出
MediaPipeのHand・PoseランドマークからCPU上で「手首→人差し指先端」のレイ（検出できない場合は、手首を起点に、肩→手首方向へ延長したレイ）を作り、 画面上の模擬設備ゾーン（軸並行の矩形）との2D交差を判定します。ゾーンに交差した最初の時刻を記録します。 開始直後には任意の1点校正（画面中央を指して補正）があり、カメラ設置位置と指差し感覚のズレを補正できます。
🎙️ 呼称検出
録音した発話をWhisper（base）で文字起こしし、かな正規化した上でシナリオの期待呼称と編集距離ベースの類似度を計算。 類似度60%以上、かつ「開/閉」「入/切」など安全上必須の語が期待どおりに含まれている場合にのみ、呼称が一致したとみなします （類似度が高いだけでは合格しません。設備名などの言い回しの表記ゆれは類似度側で許容します）。
📊 採点
「正しいゾーンを指したか」「指す時刻が呼称時刻より前か（順序）」「呼称が一致したか（類似度としきい値、かつ安全上の必須語が一致）」 「録音中も指差しを継続できていたか（有効カバレッジ60%以上）」の4条件をすべて満たした場合のみ合格。 時刻はすべて performance.now() 基準で記録します。
実測データ（呼称ASRの精度・速度）
採用前に候補モデルを比較実測しました。測定条件: 合成音声（TTS 2話者・ja-JP-KeitaNeural / ja-JP-NanamiNeural）60トライアル、 RTX A6000、しきい値60・max_new_tokens=16固定、2026年7月実施。
| 構成 | 静音recall | SNR10 recall | SNR5 recall | 誤受理率 | p95レイテンシ |
|---|---|---|---|---|---|
| whisper-tiny（不採用） | 80% | 50% | 0% | 0% | 約1.6秒 |
| whisper-base + WebGPU（採用） | 100% | 100% | 100% | 0% | 約1.6秒 |
whisper-tinyはSNR5（強騒音）でrecallが0%まで落ち込み実用に耐えないため不採用としました。加えて、 max_new_tokens を制限する前の検証では、SNR5条件で暴走生成により20試行中2件が最大約23秒フリーズする事象を観測しています。 これが全構成でmax_new_tokens=16固定を必須にした理由です（上表はこの制限を適用した後の数値）。 WebGPUが使えない端末ではWASM（CPU）にフォールバックし、判定に約2.3〜3.0秒かかります（同条件の実測）。
参考: 専用小型モデル（試作）の実測
「今後の計画」にある専用小型モデルは、キーワードスポッティング方式の試作を既に一度実測しています。 合計約3.7MiB（自作モデル759KB＋mel_filterbank 89KB＋onnxruntime-web WASMランタイム2.8MB）、単発判定7〜18ms、 VADストリーミングを含むEnd-to-End平均約0.31秒でした。ただし現時点の試作は合成音声2話者（TTS）での学習にとどまり、精度は目標未達です（全体recall 70%。学習に使っていない話者に限るとrecall 40%、誤受理率40〜50%）。 サイズ・速度は小さく速い一方、このままでは実運用に足る精度ではないため、実声データを収集したうえで再学習・再評価する計画です。
限界
- 合成音声（TTS 2話者）での評価であり、実際の人の声・実際の現場騒音では未検証です。
- 呼称の照合は本デモの10シナリオの語彙に限定した閉じた集合が対象です。任意の自由な発話には対応しません。
- 「見る（対象の視認・指差前の目視確認）」は採点対象に含まれません（指す・呼称のみを判定します）。
- 実際の腕・手によるジェスチャーでの統合的な動作確認（E2E）はまだ行っていません。単体テストは通していますが、実腕での指差し判定の精度は未検証です。
- Safari（macOS/iOS）での動作は未検証です。録音のMIME形式などブラウザ差の影響を受ける可能性があります。
- 検出ループ（MediaPipe Hand+Pose）による端末のCPU負荷・発熱・電池消費は計測していません。
- 本ツールは研修・自己練習の記録補助であり、法令・社内規程に基づく安全管理体制・KY活動の代替ではありません。
- 呼称の合否判定は字句照合（形態素解析なし）です。意図的に紛らわしい連結発話は誤判定する可能性があります。
今後の計画
現在の呼称照合はWhisper base（汎用モデル）を使っています。呼称語彙に特化した専用小型モデルは、 サイズ・速度の試作実測は既に着手済みです（上記「実測データ」参照）が、精度はまだ目標に届いていません。 実際の現場の声データを収集できた場合、その試作を再学習し、精度・速度を比較実測した結果を公開する計画です。 今の版は「その仮説を検証するための」実測ベースMVPという位置づけです。
汎用デモを「現場仕様」に近づける3つの道
このデモで認識に失敗した呼称こそ、改善の出発点になります。相談時に音声データをお送りいただく必要はありません （判定は今後も端末内で完結する設計を前提にご相談します）。
① しきい値・ルール調整
類似度のしきい値・呼称語彙・シナリオ構成を、御社の実際の呼称様式や作業手順に合わせて調整します。
② プラグイン・連携対応
既存の安全管理・教育記録システムへCSV/形式を合わせたり、朝礼・KY活動のフローへの組み込みを検討します。
③ ワンクッションFT（専用AI化）
汎用の音声認識で精度が出にくい現場語彙を、御社の現場音声で一段ファインチューニングした専用の小型・高速モデルに置き換えることで、作業効率を上げられるかもしれません。効果を保証するものではなく、まずは適合確認からのご相談になります。
研修・現場記録に役立つ機材
カメラ・マイク付きの端末があれば体験できます。研修用途で複数台運用する場合の構成例です。
Raspberry Pi 5 ＋ カメラモジュール V3。軽量モデルの物体検出・顔認識を1台で。
Raspberry Pi 5 ＋ AI Camera（IMX500）。オンセンサーAIで低負荷・高フレームレートに。
価格は目安（変動あり）。下のカードから用途に合うものを選んでください（全点を揃える必要はありません）。
Raspberry Pi AI Camera（IMX500）
Sony IMX500搭載のAI処理内蔵カメラ。カメラ側でAI推論を実行し、ホストの負荷が極めて低い。
※ 上記リンクはアフィリエイトリンクです（購入で当サイトに収益が発生する場合があります）。 価格は目安で、最新価格・在庫はリンク先でご確認ください。構成は用途の一例です。
関連記事 — 詳しくはこちら
関連デモ
このデモを「実機」で使うには？
実測データで最適な機種を選び、つまずいたら原因→対処をたどれます。
業務への導入を検討中の方へ：このデモのような「データを送らず現場で動くAI」の設計・開発のご相談はLink Fieldへ（無料）。
🤝 導入の相談をする