一次没人想看的五杀
假设某射击游戏里,A队以大比分领先,最后一回合对手只剩两人,并且已经在场边站着等结束(示意场景)。玩家A在这一回合打出五杀,击杀数是极值,枪声密集,镜头晃动,弹幕却只有零星几条。
再看另一段:局势拉锯到最后一局,玩家B只有一点血量,躲在角落里,靠一次听声辨位的伏击,一换二完成翻盘,全场只有两次击杀。
按“击杀数”排序,A排在B前面很多。按“观众愿意看第二遍”排序,结果恰好相反。这个反差是自动剪辑最典型的误判:数据漂亮不等于精彩。
三个常见信号,为什么会失灵
常见的粗糙规则有三类,每一类都有明确的失败场景:
| 信号 | 它能捕捉到 | 会误判的场景 |
|---|---|---|
| 击杀数 | 火力密集的片段 | 结果已定的清场;无击杀的关键防守 |
| 音量 | 情绪高涨、爆炸声 | 背景音乐、解说员的兴奋与画面无关 |
| 画面变化快 | 大幅度镜头切换、特效 | 过场动画、技能特效遮挡、观战镜头切换 |
这些信号的共同点是:它们描述的都是事件本身的强度,没有描述事件在比赛里的位置。这也是为什么单靠它们做出来的成片,常常热闹却空洞。
局势状态:精彩是相对的
同一个操作,放在不同局势里价值不同。一个合理的设计是让剪辑系统维护一份比赛状态,至少包含:
- 比分和资源差:领先多少,追分需要多久。
- 目标状态:关键目标是否正在争夺。
- 事件对局势的改变量:这次击杀有没有让胜率的估计发生较大变化(估计方法可以是简单的规则,也可以是从历史数据学出来的模型)。
有了这份状态,“翻盘”才可以被定义:落后方连续完成几次关键交换,并把差距缩小到一定范围(阈值为举例)。这类判断不依赖击杀数,也不依赖音量。
局势之外,还有事件发生前的铺垫:伏击从什么时候开始,判断从哪里形成,这一点直接决定片段的起点,可以参考一段精彩操作真正的开头在哪里。
技巧与观众反应
局势之后,还有两类辅助信号:
- 技巧难度:躲开多个技能后的反打、极限血量的走位。它们通常需要理解技能状态和位置关系,比击杀数更难检测,但对玩家和观众的价值也更高。
- 观众反应:直播里的弹幕密度、情绪词的变化、回看和分享。有工作用众包信号做英雄联盟的高光检测,也有多模态数据集把直播文本、音频和事件日志放在一起,用来理解局势和解说。观众反应是有用的旁证,但不是标准答案:弹幕可能因为主播的玩笑而高涨,并不对应比赛精彩,因此只能当作加分项。
反过来的错误:把精彩剪掉了
规则失灵不只表现为多剪,也表现为漏剪。举几个常被漏掉的类型(均为示意):
- 没有击杀的关键防守:拖住对手四十秒,让队友完成复活。击杀数为零,但整局的走向由它决定。
- 失败前的反抗:终局已经无望,玩家仍然打出一波漂亮的换血,这类片段的情绪价值往往超过普通胜利。
- 搞笑失误:误操作、被队友“送走”,观众反应强烈,却完全不满足“高光”的传统定义。
这也是为什么不同类型的片段需要不同的特征和判断标准,而不是一套统一阈值,相关的讨论见击杀、翻盘和搞笑场面需要同一套模型吗。金沙娱乐AI在做游戏视频时,也把“类型”当作选片的第一步,再谈打分。
公开研究给的启示
有两项研究值得放在一起看。一项是长视频精彩片段检测的工作:它收集了数百个、总计约640小时的超长体育视频,并提出免训练的做法,先把语义相近的镜头合并成片段,再用多模态语言模型评分,效果优于视频时序定位的基线。这说明“先分段、再评分”比逐帧判断更适合长录像。
另一项是电竞第一人称视频的问答基准,来自职业比赛的1745个问答,表现最好的视频语言模型准确率约71.58%,并且模型更擅长基础视觉感知和宏观理解,弱于深层战术推理和细粒度微操。换句话说,让模型描述“发生了击杀”较容易,让它解释“这个击杀为什么改变了比赛”仍然吃力。所以在系统设计里,局势状态最好由结构化数据提供,而不是完全依赖模型去猜。
一条可行的选片流程
金沙娱乐AI剪辑的设计思路可以概括成三步(具体实现以产品发布为准):
- 候选:宽松地收集击杀、目标、翻盘迹象和观众反应集中的时刻。
- 打分:结合局势变化、技巧难度、观众反应给候选评分,并要求系统写出一句“这个片段为什么重要”。
- 去冗余与组装:同类片段只留一个,保证成片有节奏,有开头和收束。这一步的细节可以看AI怎样从几小时录像里找到值得保留的几十秒。
用前面两段录像做个示意打分(分数为假设,仅说明思路):
| 维度 | 空城五杀 | 残血反杀 |
|---|---|---|
| 局势变化 | 几乎为零 | 明显,翻盘转折点 |
| 技巧难度 | 低,对手无抵抗 | 高,听声辨位加极限走位 |
| 观众反应 | 零星 | 集中,回看多 |
| 结论 | 可压缩为一句带过 | 保留完整,包含前段铺垫 |
评估时,让人对每个入选片段补一句“它为什么重要”。写不出的,多半是数据好看却不精彩的片段。最难的问题留给下一步:当一个操作只在玩家自己看来很难,观众却看不出来,剪辑要不要把难度讲出来?