端末内視覚メモリ
この物、最後にどこで見た？ 選んだ1物体をブラウザ内AIで追跡し、生映像と外観特徴を保存せず、個体ID・最後に見た相対位置・時刻と履歴管理用の内部情報を端末内に記録する実験デモです。
🧪 このデモは実験・検証中です
「選んだ物の最後の相対位置と時刻を端末内に残せば、生映像を保存しない小さな視覚記憶として、忘れ物・一時置き探索の補助になる」という仮説を検証中。
🤝 仲間を募集中：固定カメラでの試用フィードバック／工具・備品探索の実務要件／同種物体を取り違えにくい追跡設計の知見——デモに協力できる方がいれば、ぜひご連絡ください。
協力の連絡をするHOW TO USE
使い方
明るい場所で、同じ種類の物が複数映らない状態から始めると挙動を確認しやすくなります。
AIモデルを準備
「AIモデルを準備する」を押して読込完了を待ちます。未キャッシュの場合は、初回だけ約25MBを取得します。
カメラを起動・固定
「カメラを起動」を押して利用を許可し、机や棚が映る向きで端末が動かないよう固定します。
記憶する物を選ぶ
ボトルやカップなどを映し、水色の枠または候補ボタンから1つ選びます。人物は選択できません。
個体を識別する
外観特徴を登録し、備品に付けたQRまたはData Matrixを読んで個体IDを確定します。どちらも任意です。
動かして結果を確認
物を左・中央・右へゆっくり動かしてから隠し、最後の位置と時刻を確認します。終了後は記憶を削除できます。
検出されない場合は、照明を明るくする、対象を大きく映す、背景との重なりを減らす、同じ種類の物を1つだけにする、の順にお試しください。
0 B
なし
記憶＋最小限の管理情報
基本約25 MB＋外観モデル
30秒で「最後に見た場所」を試す
AIモデルを準備したらカメラを固定し、検出された物の枠を1つ選びます。 左・中央・右へ動かしてから画面外へ移すと、最後に見た位置と時刻が残ります。
位置のタイムライン
選択・左右エリアの移動・再発見だけを記録します。
物を選ぶと、ここに位置の変化が残ります。
記憶対象はまだ選ばれていません。
ASSET MARKER
個体ラベルを作る
備品ごとに重複しないIDを入力してQRを発行します。ラベルを備品へ貼り、デモで対象を選んだ後に読み取ると個体IDを確定できます。 一般のURLや自由文が入ったQRは個体IDとして受け付けません。IDは大文字と小文字を区別します。
英数字と . _ - を使用できます。大文字と小文字は区別されます。1個体につき重複しないIDを付けます。
QRに入る値
edge-ai-asset:DRIVER-01電動ドライバー 01
DRIVER-01
WHY IT MATTERS
このデモの有意性・検証価値
通常の物体検出が答えるのは「いま何が見えているか」までです。このデモは、ユーザーが選んだ1物体の呼び名・個体ID・最後に見た画面領域・時刻と履歴管理に必要な内部ID、検出カテゴリ、照合方法を保持し、 見失った後にも参照できる状態管理へ拡張します。映像を保存せず、必要最小限の記録で探索支援が業務に合うかを小さく検証できます。
瞬間認識から時間的な記憶へ
「いま何が見えるか」だけでなく、対象が見えなくなった後も最後の観測位置と時刻を参照できます。
保存データを必要最小限に
生映像と外観特徴を残さず、記憶内容と履歴管理に必要な最小限の内部情報だけを端末内へ保存する設計を試せます。
同種の備品を個体へ分ける
動き、外観特徴、QRの順に証拠を増やし、同じ種類の備品を取り違えにくくする構成を比較できます。
評価するときの見方
検出器以外の追跡設定を固定し、同じ録画エピソードを汎用モデルとFTモデルへ入力します。未検出や選択失敗も含めた全エピソードを分母にします。
- 最終位置の一致: 実際に最後に置いた領域と、表示された左・中央・右が何回一致したかを記録します。
- 対象の取り違え: 同種物が交差したときのIDスイッチ回数と、遮蔽後に正しい個体へ戻れた割合を記録します。
- 更新までの時間: 物を移動または隠してから、位置・最終確認時刻の表示が変わるまでを確認します。
- 探索への効果: 同じ探索課題を表示あり／なしで行い、発見までの時間と成功率を比較します。
ここでいう有意性は、この仕組みを試す技術・業務上の価値を指します。本デモ単体で統計的な有意差や実運用精度を実証したものではありません。
FAIR COMPARISON
汎用モデルとFTモデルを同じ条件で比較する
比較単位は連続フレームではなく、撮影セッションを分離した動画または探索試行です。両モデルで同じ入力、初期対象、追跡器、Re-ID設定、実行端末を使い、検出器だけを交換します。主評価の検出閾値は各モデルのvalidationで事前に選び、testを見る前に固定します。同じ数値の閾値での結果とPR曲線も併記し、スコア校正の差を隠しません。
| 比較項目 | 汎用RF-DETR | 個体ラベルFT | 判定方法 |
|---|---|---|---|
| 物体検出 | 実行可能 | 学習データ待ち | 親カテゴリへ集約したRecall・F1 |
| 個体追跡 | 2段階追跡＋外観特徴 | 未測定 | 最終位置一致率・IDスイッチ・再捕捉率 |
| 実行性能 | 端末で測定 | 未測定 | 推論時間p50・p95、FPS、モデル容量 |
現在はFT用の固定備品画像、個体別COCO注釈、独立testがないため、FT欄に精度値を表示していません。データ配置後は3 seedを個別に評価し、各seedのエピソード単位paired bootstrap 95%信頼区間とMcNemar検定、seed間の平均とばらつきを併記します。
A6000 FINE-TUNING
A6000でFTする意味
A6000を使うだけで認識精度が上がるわけではありません。価値は、固定備品の個体別データを十分なbatchで反復学習し、複数seedと独立testまで同じ環境で回せる点にあります。
個体名を直接出力
汎用モデルの「bottle」や「cup」を、`asset_bottle_001` のような固定備品IDへ置き換えて学習できます。
現場条件へ合わせる
棚、照明、撮影距離、同型の別個体を学習へ含め、汎用モデルが持たない現場固有の差を検出器へ反映できます。
改善を再現確認
3 seedを同じ設定で学習し、良い1回だけを選ばず、平均・ばらつき・エピソード単位の信頼区間を確認できます。
有意性が上がったと言えるのは、独立testで最終位置一致率が改善し、95%信頼区間とIDスイッチ数も実務上の基準を満たした場合です。学習データが少ない、splitが漏れている、同型個体の識別情報が写らない場合は、A6000で学習しても改善しません。
HOW IT WORKS
仕組みとデータの扱い
カメラフレーム
端末メモリ上だけで処理。録画・画像保存はしません。
検出 + 個体追跡
高信頼・低信頼を分けるByteTrack方式の追跡へ、外観特徴とマーカーIDを組み合わせます。
IndexedDB
呼び名・個体ID・相対位置・時刻と、内部ID・カテゴリ・履歴種別・照合方法をこのブラウザ内に保存します。
できること・できないこと
- 固定備品の個体別画像と独立評価データが未配置のため、個体ラベルFTと統計的な有意差の測定はまだ行っていません。
- 位置は固定カメラ画面内の「左側・中央・右側」です。部屋の座標やメートル単位の距離ではありません。
- 外観特徴はImageNet学習済みMobileNetV2を使う比較用baselineです。固定備品専用のRe-IDモデルではありません。
- QRまたはData Matrixが隠れている間はマーカーで個体を再確定できません。ラベルの貼り違いとID重複も検出精度を下げます。
- 現在の個体ラベルは署名されていません。表示されたID文字列の確認には使えますが、ラベルの真正性や複製されていないことは保証できません。実運用では署名付きラベルまたは備品台帳との照合が必要です。
- 同型・同色の備品、物同士の交差、長い遮蔽では、2段階追跡と外観特徴を併用しても取り違えることがあります。
- 個体ID確定後の定期マーカー走査と外観特徴の追加計算は検出ループ内で行います。低速端末では周期的に更新間隔が長くなることがあります。
- RF-DETR-Nanoが学習した日用品クラスが対象です。鍵・眼鏡など、学習クラスにない物は検出できません。
- 暗所、強い逆光、大きな遮蔽、高速な移動では追跡が途切れることがあります。
- 備品管理や防犯の正式システムではなく、端末内の時間的な視覚記憶を体験する実験デモです。
工具・容器の一時置き
モデルが検出できるケースやボトルについて、最後に見たエリアを記録。
研究室の備品
カップやボトルなど、机上で動く備品の探索を補助。
棚・梱包台
作業台で一時的に置いた対象の移動履歴を端末内に残す。
実運用では、個体ラベルFTモデル、固定備品用Re-IDモデル、複数カメラ、カメラ位置の較正、 現場端末上のデータベースを組み合わせます。まずこのMVPで、映像を外へ出さずに 「最後に見た」を残す体験が業務に合うかを検証できます。
視覚メモリを現場で常時動かすための機材
ブラウザで試した検出・追跡・端末内記録を、固定カメラとエッジ端末へ展開するための構成です。
Raspberry Pi 5 ＋ AI Camera（IMX500）。カメラ側でAI推論する分ホスト負荷が低く、まず試すのに最適。
NVIDIA Jetson Orin Nano ＋ Webカメラ。GPUで複数カメラ・高精度モデルも安定処理。
価格は目安（変動あり）。下のカードから用途に合うものを選んでください（全点を揃える必要はありません）。
大きなモデルの生成・推論や複数モデルの常時稼働には、Pi/Jetsonより大容量メモリ・高性能CPU/GPUを積める高性能ミニPCが快適です。
Raspberry Pi AI Camera（IMX500）
Sony IMX500搭載のAI処理内蔵カメラ。カメラ側でAI推論を実行し、ホストの負荷が極めて低い。
Google Coral USB Accelerator
既存のPCやRaspberry PiにUSB接続するだけでAI推論を高速化。4 TOPSのEdge TPU搭載。
※ 上記リンクはアフィリエイトリンクです（購入で当サイトに収益が発生する場合があります）。 価格は目安で、最新価格・在庫はリンク先でご確認ください。構成は用途の一例です。
関連記事 — 詳しくはこちら
関連デモ
2体のローカルAI、いつか（VLM）と きつと（分類器）が別々に当てて相談。はずれを教えるほど端末内で学習し、似た絵をk近傍で当てる。絵と正解は端末内で処理・保存
🔴 分類器8.6MB＋会話LLM約500MB（押したら読込）スケッチ専用の軽量分類器（8.6MB）だけで即答。VLM・LLMなしでスマホ・タブレットでもサクサク動く「おえかきAI対決」の身軽バージョン。はずれを教えるほど賢くなるのは変わらず
🟢 8.6MB小さなニューラルネットを進化戦略でブラウザ内学習。におい勾配を登って缶に最短到達する方策を獲得し、学習なしのルール猫と競走。学習も推論も端末内で完結
🟢 0MB（ブラウザ内ES学習）このデモを「実機」で使うには？
実測データで最適な機種を選び、つまずいたら原因→対処をたどれます。
業務への導入を検討中の方へ：このデモのような「データを送らず現場で動くAI」の設計・開発のご相談はLink Fieldへ（無料）。
🤝 導入の相談をする