我要评论难度大升级的多任务长视频理解评测基准 mlvu 来了！由智源联合北邮、北大和浙大等多所高校推出。究竟有多难呢？最终排名第一的 gpt-4o 单选正确率还不足 65%。
而且研究发现，大部分模型的性能都会随着视频时长增加显著下降。
研究进一步证明，提升上下文窗口，提升图像理解能力，以及使用更强大的 llm backbone 对长视频理解的性能具有显著的提升作用。
目前相关论文及数据集已公开，具体细节下面一起看看吧~
mlvu 的构建过程
当前流行的 video benchmark 主要针对短视频设计，大部分视频的长度都在 1 分钟以内。
且现有评测基准往往专注在特定领域的视频（例如电影、第一视角）和特定的视频评测任务（例如 captioning，temporal perception，action understanding）。
此外，现有部分长视频理解评测任务往往只和局部帧有关，或者针对经典电影进行问答，这导致 mllms 可以直接凭借 text prompt 正确回答而无需对视频进行分析。
针对以上不足，新基准 mlvu 从以下 3 个层面进行构建：
时长和来源更丰富
mlvu 的视频时长覆盖了 3 分钟到超过 2 小时，平均视频时长 12 分钟，极大扩展了当前流行的 video benchmark 的时长范围。
另外，mlvu 的大部分任务标注过程中进行了片段-问题对应标注。
例如，video summarization 任务分段标注了视频的前 3 分钟，前 6 分钟……
这意味着，mllms 可以灵活地在 mlvu 上选择测试不同时长情况下的长视频理解能力。
同时，mlvu 收集了包括电影、电视剧、纪录片、卡通动画片、监控视频、第一视角视频和游戏视频等多个类型的长视频，覆盖了长视频理解的多个领域范围。
任务类别更全面
团队针对长视频理解设计了 9 类不同的任务，并进一步将任务分为三类：全面理解、单细节理解、多细节理解。
全面理解任务：要求 mllms 理解和利用视频的全局信息来解决问题
单细节理解任务：要求 mllms 根据问题定位长视频中的某一细节，并利用该细节来解决问题
多细节理解任务：要去 mllms 定位和理解长视频中的多个相关片段来完成和解决问题
此外，还包括了单项选择题和开放生成式问题，全面考察 mllms 在不同场景下的长视频理解能力。
以下为 9 大任务的示例：
问题设置与答案标注更合理
为了突出新旧基准变化，直接以情节问答（plot question answering）任务为例。
假如以电影、电视的角色作为问题线索来对 mllms 进行提问，旧基准的常见问题有两种。
一是挑“经典”下手，这导致 mllms 在没有对视频进行分析的情况下，直接使用了自有知识回答问题。
另一部分试图避免这个问题，但由于长视频的复杂性，仅仅利用代词和描述性语句来指代情节细节非常困难。
他们的问题非常宽泛或者需要在问题中额外指定具体的时间片段而不是让 mllms 自己根据题目寻找对应细节。
mlvu 通过精细的人工标注克服了这些问题。
在所有的情节问答任务中，mlvu 均使用“具有详细细节的代词”来指代情节中的人物、事件或背景，避免了问题泄露带来的潜在影响，mllms 需要根据问题提供的线索识别和定位相关片段才能进一步解决问题。
此外，mlvu 的 plot qa 问题具备丰富的多样性，增强了评测的合理性和可靠性。
模型在 mlvu 上的表现
团队在 mlvu 上对 20 个流行的 mllm 进行了评测，包括开源模型和闭源模型。
实验结果表明，尽管 gpt-4o 在所有任务中均取得了第 1 名，但它的单选平均准确率只有 64.6%。
且所有模型都在需要细粒度理解能力的任务上（单细节、多细节理解任务）表现糟糕。
此外，大部分模型的性能都会随着视频时长增加显著下降。
另一明显结论是，开源模型和闭源模型之间存在较大的差距。
开源模型中单项选择题性能最强的 internvl-1.5 单选平均准确度仅有 50.4%；开放生成式题目最强的 llama-vid 得分仅有 4.22，均远远落后于 gpt-4o 的 64.6% 和 5.80。
不过研究发现，提升上下文窗口，提升 mllm 的图像理解能力，以及使用更强大的 llm backbone 对长视频理解的性能具有显著的提升作用。
这揭示了未来 mllms 在提升长视频理解能力的重要改进方向。
论文：
https://arxiv.org/abs/2406.04264
项目链接：
https://github.com/junjie99/mlvu
发表评论