📡 即時 RTSP 📁 影片管理 ⚙️ 推論列隊 🧪 CVAT 管理 🎬 錄製紀錄 📖 說明 model viewer

📖 Model Viewer 系統說明

工廠安全 AI 模型展示與驗證平台 — 即時 RTSP 串流預覽、影片離線推論、結果可拖曳檢視。

🗺️ 4 個功能頁

頁面用途典型場景
即時 RTSP 串流 RTSP 攝影機 → 選模型即時推論 → 直方圖顯示信心值；可拖曳影像範圍設 ROI、調整 person/forklift conf 滑桿 現場驗證攝影機畫面下模型表現
影片管理 上傳 mp4／mov 影片，列表查看解析度／長度／大小，旁邊選 model 一鍵推論 把客戶錄好的影片丟進去測效果
推論列隊 顯示所有 inference job 狀態（queued/running/done/failed）+ 進度條 + 當前 frame 追蹤背景跑的離線推論進度
結果頁 HTML5 video 拖曳進度條 → canvas 即時繪 bbox + attr 直方圖；checkbox 可篩選只看哪些 attr 看推論結果的 frame-by-frame 細節，找誤判 case

🤖 目前可用模型

Key名稱類型用途R2 下載報告
hatch hatch_v20260427 (門開關) image classifier 整張影像判斷艙門開／關／混合／未知 .pt 📊
ppe21 factory_ppe_v20260502 (PPE 21-attr) person attr classifier 對 person YOLO 偵測到的每個人，輸出 21 種 PPE 屬性（安全帽／反光背心／手套／面罩…） .pt 📊
ppe21_v501 factory_ppe_v20260501 · 舊版對照 person attr classifier v501 留作對照組，可即時切換比較 ——
safety_rope safety_rope_v20260502_p10_hd (1280×720 主版) RoI Align 二分類 判斷高處作業人員是否正確扣安全背繩。test_AP 0.890 / FP 293 主版 .pt · 640 對照 🦺 ablation v2（14 路完整比較）
forklift_ppe forklift_ppe_v20260503 (堆高機操作員 PPE) cascade pipeline 偵測堆高機 → 框內找人 → 該人 PPE 21 attr（只稽核操作員） forklift YOLO v501 · person YOLO v501 🚜 · 🧍

🔗 Forklift PPE Cascade Pipeline

1Forklift YOLO11n 偵測影像中所有堆高機 bbox（黃框）
2Person YOLO11n 偵測畫面所有 person（conf 可調）
3每台堆高機保留與其 bbox 重疊比 ≥ 10% 的 1 個（最高重疊）→ 判定為操作員
4對該操作員 crop → factory_ppe → 顯示「安全帽 ✓」「反光背心 ✗」

為何要 cascade？避免把工廠裡走動的工人誤當操作員稽核 — 只稽核「正在騎堆高機的人」這個高風險族群。

🛠️ 影片離線推論流程

  1. 到 📁 影片管理 上傳 mp4（最大 5 GB），系統自動 probe FPS / 長度
  2. 在列表選下拉式 model → 點「推論」→ 自動排進 GPU 0 的 queue
  3. 到 ⚙️ 推論列隊 看進度，狀態變 done 後點「查看」
  4. 結果頁可直接拖 HTML5 video 進度條，左邊看影片 + bbox 疊圖，右邊看當下 frame 的 21 attr 信心直方圖
  5. 同個影片可排多個 model（forklift_ppe + safety_rope 都跑一遍對比）

結果存成 JSON（每 frame 物件 list + bbox + attrs），不是 baked-in mp4，所以攻 model 換重看不用重跑。

⚡ 推論硬體

📦 模型整體下載

R2 bucket rai-models（公開）：https://pub-478929a98a5c440cb22c2241c0bde314.r2.dev/

所有訓練報告：kaggle-reports.pages.dev（50+ 份）

📋 工程文件 / SOP

文件用途
🛠️ 模型訓練 SOP / 注意事項 訓練前 checklist、CVAT export 規則、partial-label 處理、hyperparams 規則、過往失敗教訓
🎯 YOLO Tracker-Aided Temporal Smoothing 設計 用上下幀關係降 FP/flickering：per-track conf smoothing + gap fill + transient filter
🔬 PPE 21-attr SOTA 研究報告 大 backbone + VLM + Ensemble 對比，recall@P=0.95 +10.8pp
📋 補資料策略（給標記師） cvat #12 真實 yes 數量分析 + 優先補哪些 attr + 合成路線（選做）
📚 9 個 model 訓練組合清單 每 model 的 backbone / loss / aug / 設計決策對照

Model Viewer · 工廠安全 AI 驗證平台