1. 背景
各位老师好，我们在做一个视频周期动作计数问题。具体场景是：根据游泳视频，统计每个泳者在每一段里的划水次数。
我们有大量“手部出水”检测框、身体框、泳者方向、泳道、泳者身份等原始数据，并且有次数、每次划手开始结束时间的 Ground Truth ，我们的目标是：
从大量有噪声的检测框里，筛出真正对应划水动作的证据，并稳定得到正确的划水次数。
2. 挑战目标和奖金
我们提供原始数据。如果您能提供可复现的方法，在 leave-one-video-out 评估中达到明显提升，我们愿意提供奖金。
当前最好的 offline Baseline 大约是：
- MAE：3.31
- 误差不超过 ±1 次的比例：37.6%
- 误差不超过 ±2 次的比例：58.4%
- 最大单行误差：15
目标 A：奖金 1500 元
- MAE < 1.5
- 希望误差不超过 ±1 次的比例超过 60%
- 最大误差小于 5 （非必须）
目标 B：奖金 3000 元
- MAE < 1.0
- 误差不超过 ±1 次的比例超过 80%
- 最大误差小于 3 （非必须）
3. 数据说明
原始数据：
- 每个手部检测框的时间戳
- 手部框位置和大小
- 身体框位置和大小
- 手框与身体框的重叠比例
- 手部中心点是否在身体框内
- 手部相对身体前后方向的位置
- 泳者方向
- 泳道、split/趟、泳者身份
- 当前系统的 L1 / L2 证据
Ground Truth：
- 人工标注的每一次真实划水开始和结束时间
- 每趟每人的划水总数
目前数据集中有 5 个视频、15 次运行、101 行有效评估数据。原始手部检测框约 13.8 万条，其中约 5.8 万条落在真实划水时间窗口里，约 8.0 万条在窗口外。数据、测试代码和说明文件：https://github.com/cbccbcc/external_clean_challenge_20260605
4. 我们目前的算法尝试：L1 / L2
L1 可以理解为对检测框的初步判断：
- 找到手部出水检测框；
- 判断手框是否和该泳者身体框有关；
- 过滤明显像脚或小腿的误检；
L2 可以理解为在 L1 基础上，引入了序列维度，作为划手的依据：
- L1 （经过验证的手在水上）可以看作 1 ，没有则为 0 ，那么一次划手应该是若干 0+若干 1+若干 0 的组合
- L2 相较于 L1 数量会更少一些，但是准确率更高一些
我们并不需要局限于这种思路，可以直接从 L1/L2 甚至原始检测框中恢复/预测划手次数。
5. 我们所做的尝试
- 纯 L1/L2 的估计误差大约在 6-7 ，远无法达到要求。L1 的时间证据比较干净：correctness 约 84.1%，但 true-stroke coverage 只有约 62.3%。核心问题是干净证据召回不够，高召回证据又太脏。
- 我们尝试了多种方法的节奏恢复算法/差值算法，包括 RANSAC/PROSAC/HMM 等等，并且根据不同特征进行插值，但是结果不尽如人意。
- 我们尝试了根据现有 L1/L2 的时间差，选取作为节奏的时间差，发现如果能够选取对的时间差，基于 oracle 可以达到 0.8 左右的 MAE ，但是问题在于我们无法从众多时间差中选择这个最佳时间差。
6. 评估规则
使用 leave-one-video-out：
- 每次用四个视频开发或训练；
- 剩下一个视频作为测试；
- 五个视频轮流作为测试集；
- 汇总五折结果。
要求同一套算法和参数选择流程必须能泛化到所有视频，不能针对单个视频人工调参。
7. 禁止使用的信息
人工标注可以用于训练、分析和调试，但最终算法不能把以下信息作为输入：
- 当前行真实划水次数；
- 当前行每一次真实划水的开始/结束时间；
- 针对某个视频手工指定的规则；
- 任何生产环境中不会提前知道的信息。
换句话说，temporal ground truth 可以帮助你设计方法，但不能直接喂给最终预测算法。
8. 关于时间对齐
我们发现算法证据整体加上一个小时间偏移后（+0.15s ），会和人工标注窗口更对齐。这个发现说明时间校准可能很重要。
但是最终奖励指标仍然以划水次数为主。我们不会单独因为时间对齐好就认定成功，但我们强烈建议关注时间对齐，因为稳定的时间证据通常更容易得到稳定的计数。
9. 关于交付
您只需要提供算法，初步远程确认没问题后可以咸鱼下单，支付后将算法细节发给我们进行验证，验证达到要求后确认收货。
Select Language