Engineering MVP / Prototype

BibVision

赛事号码布识别与可搜索视频事件工程系统。

从号码布检测、OCR、时序稳定,到视频索引与片段规划,将不稳定的视觉观测转换为可搜索的视频事件。

Detection → OCR → Temporal Stabilization → Video Indexing → Clip Planning

多人场景中的号码布识别。

01 / 问题与约束

问题与约束

赛事视频中的号码布识别并不是单帧 OCR 问题。

实际输入会同时面对:

  • 号码布尺寸较小
  • 运动模糊与遮挡
  • 同一画面可能出现多名运动员
  • 相邻视频帧 OCR 结果会波动
  • 同一号码会被连续重复观测
  • 原始赛事视频可能被拆分成多个文件

系统目标不是只回答“这一帧识别到了什么”,而是把不稳定的视觉观测整理成稳定、可搜索、带时间位置的视频事件。

02 / 系统设计

分层离线处理流水线

BibVision 将检测、OCR、时序稳定和视频索引拆分为职责明确的阶段,尽量将原始视觉证据与后续业务索引逻辑分开。

BibVision 系统架构:从视频或图像输入,到检测、OCR、验证、时序投票、号码事件、索引与片段规划

03 / 关键工程决策

关键工程决策

01

单帧 OCR → 时序判断

单帧识别容易受模糊、角度和遮挡影响。系统利用连续观测进行稳定判断,而不是直接相信某一帧结果。

02

赛事号码格式约束

利用赛事号码的已知格式规则过滤明显无效的 OCR 候选,减少后续时序阶段需要处理的噪声。

03

碎片视频的逻辑时间轴

原始视频文件保持独立,同时将事件映射到统一逻辑时间轴,便于跨文件搜索和片段规划。

04

可复现实验与数据来源

固定 benchmark、模型版本和实验来源,避免模型更新后无法解释指标变化。

04 / 评估

固定检测基准,不是营销数字。

固定检测基准50 images · 66 GT boxes

V2 baseline

mAP50 0.54406

mAP50-95 0.30052

Fixed Recall 0.40909

Fixed F1 0.52427

V3 prototype baseline

mAP50 0.92273

mAP50-95 0.57318

Fixed Recall 0.89394

Fixed F1 0.88060

仅为检测任务结果,不代表端到端 OCR 准确率,也不代表整场赛事级识别准确率。
Detection-only; not an end-to-end OCR or race-level accuracy claim.

BibVision 固定检测基准中的 V2 与 V3 结果对比

05 / 时序 OCR 稳定

时序 OCR 稳定

连续帧中的 OCR 结果可能发生波动,因此 BibVision 不直接将单帧结果作为最终号码。

系统会保留真实出现过的完整 OCR 候选,并在短时间窗口内进行置信度加权投票。

whole-string voting / 完整字符串投票

系统只对真实观察到的完整号码字符串进行投票,不会把不同帧中的字符逐位拼接,生成一个从未真实出现过的号码。

ShortTrack ≠ Person ReID

ShortTrack 只用于短时间范围内的目标关联,不等同于长期身份跟踪,也不是 Person ReID。

时序 OCR 稳定过程:将连续帧中的噪声观测合并为完整号码判断
单名运动员连续经过画面时的 OCR 与时序稳定过程。
逻辑时间轴:将碎片化源视频时间映射为号码出现区间与片段决策

06 / 视频索引与片段规划

视频索引与片段规划

原始赛事视频可能由多个独立文件组成。BibVision 保留 local timestamp,同时将识别事件映射为统一的 logical global timeline

在此基础上可以生成 Bib presence intervalsClipPlan

ClipPlan 是片段编辑决策列表 / edit decision list,不是已经完成渲染的视频文件。它描述应从哪些原始视频、哪些时间范围提取片段,最终视频渲染属于后续处理步骤。

07 / 结果、限制与经验

已实现、已知限制与工程经验

已实现

  • 离线号码识别流水线
  • 时序号码稳定
  • SQLite 视频索引
  • 连续逻辑时间轴
  • 号码出现区间聚合
  • ClipPlan 与回放流程
  • 固定检测 benchmark

已知限制

  • 当前不是 Person ReID 系统
  • 不支持实时直播流处理
  • 不提供生产级实时性能保证
  • 极小、严重模糊或被遮挡的号码布仍会导致 OCR 质量下降
  • ShortTrack 是短时关联,不是长期身份跟踪

工程经验

  • 更多数据不一定意味着更好的数据。
  • 检测指标不代表端到端 OCR 质量。
  • 视频应被视为时序证据,而不是互不相关的图片。
  • 用于 benchmark 的评估集一旦固定,就应保持冻结。