空间智能版 ImageNet 来了，来自斯坦福李飞飞吴佳俊团队！
HourVideo，一个用于评估多模态模子对长达一小时视频结实才气的基准数据集，包含多种任务。
通过与现存模子对比，揭示现时模子在长视频结实上与东说念主类水平的差距。
2009 年，李飞飞团队在 CVPR 上初度对外展示了图像识别数据集ImageNet，它的出现极大鞭策计较机视觉算法的发展——懂 CV 的齐是知说念这内部的门说念有多深。
面前，跟着多模态迅猛发展，团队以为"现存的视频基准测试，大多汇聚在特定界限或短视频上"，而且"这些数据集的平均视频长度较短，限度了对长视频结实才气的全面评估"。
于是，空间智能版 ImageNet 应时而生。
HourVideo 包含 500 个来自 Ego4D 数据集的第一东说念主称视角视频，时长在 20 到 120 分钟之间，触及 77 种日常步履。
评测收尾示意，东说念主类民众水平权臣优于面前长高下文多模态模子中最犀利的 Gemini Pro 1.5（85.0% 对 37.3%）。
在多模态才气上，大模子们还任重而说念远。
HourVideo 如何真金不怕火成？
之是以提议 HourVideo，是因为筹商东说念主员发现面前长视频结实越来越浩大，而现存评估 benchmark 存在不及。
多模态越来越卷，东说念主们期待 AI 被赋予 autonomous agents 的雷同才气；而从东说念主类角度来看，由于东说念主类具备解决长手艺视觉解决的才气，因此能在现实视觉中感知、辩论和行动。
因此，长视频结实对达成这一方向至关浩大。
而现时的多模态评估 benchmark，主要已经汇聚在评测单张图像或短视频片段（几秒到三分钟），对长视频结实的探索还有待开导。
不行否定的是，AI 评估长视频结实靠近诸多挑战，比喻要联想任务、幸免通过先验常识或不祥片段恢复等。
因此，团队提议HourVideo。
这是一个为长视频结实而联想的基准数据集。
为了联想出需要恒久结实的任务，团队着手提议了一个新的任务对应套件，包含回归、感知（回忆、追踪）、视觉推理（空间、手艺、斟酌、因果、反事实）和导航（房间到房间、对象检索）任务，共 18 个子任务。
其中，回归任务要求模子对视频中的流毒事件、主要交互等进行笼统性形貌，举例回归出脖子上挂了个相机的东说念主在超市中有什么流毒交互步履。
感知任务由两部分组成，
一个是回忆任务，包括事实回忆（比如脖子上挂了个相机的东说念主，在超市提起的乳成品）和序列回忆（比如阿谁东说念主在超市称完西红柿事后作念了什么），以及敌手艺距离的判断（比如吃了多久的披萨才扔掉盒子）。
还有一个是追踪任务，主要用来识别脖子上挂了个相机的东说念主在特定场景（比如超市、药店）中互动的私有个体。
接下来是视觉推理任务，分为空间推理和手艺推理。
空间推理负责判断物体之间的空间接洽、空迤逦近度（如微波炉与雪柜或水槽比拟是否更近）以及空间布局（如采纳正确刻画脖子上挂相机的东说念主的公寓的布局图）。
手艺推理则包括对步履抓续手艺的比较、事件发生频率的判断、步履的先决条目、斟酌（如洗完穿着后最可能作念的步履）、因果接洽（如第二次离开车库的原因）以及反事实推理（如用烤箱作念土豆泥会如何）。
导航任务包含了房间到房间的导航、对象检索导航。
以上每个任务有尽心联想的问题原型，以确保正确恢复问题需要对长视频中的多个手艺片段进行信息识别和综合，从而灵验测试模子的恒久结实才气。
与此同期，筹商东说念主员通过 pipeline 来生成了 HourVideo 数据集。
第一步，视频筛选。
团队从 Ego4D 数据汇聚手动审核 1470 个 20 到 120 分钟的视频，让 5 位东说念主类民众采纳了其中 500 个视频，
至于为啥要从 Ego4D 中选呢，一来是其以自我为中心的视角与 autonomous agents 和助手的典型视觉输入十分一致；二来是它具有等闲的视觉敷陈，有助于创建千般化的题；三来 Ego4D 的探望许可十分友好。
第二步，候选 MCQ 生成。
这需要在长视频中跨多个手艺片段，进行信息分析和合成。
具体来说，筹商东说念主员以 20 分钟为断绝分割了视频，提真金不怕火信息升沉为结构化方法供大模子解决。最终一共开导了 25 个特定任务的 prompts。
第三步，LLM 优化与东说念主工反映。
在这个阶段，团队达成了一个东说念主工反映系统，7 名教授丰富的东说念主员东说念主工评估每个问题的灵验性、谜底准确性、造作选项合感性。最终集合了 400 多个小时的东说念主工反映，然后联想 prompt，自动优化 MCQ ₂取得 MCQ ₃。
第四步，盲选。
这一阶段的方向是扬弃不错通过大模子先验常识的问题，或者扬弃那些不错在无谓视频中任何信息就不错恢复的问题。
团队用两个独处的大模子—— GPT-4-turbo 和 GPT-4，对 MCQ ₃进行盲筛，确保剩余 MCQ ₄高质料且特意测试长视频谈话结实。
第五步亦然终末一步，民众优化。
这一步是用来进步 MCQ ₄质料，将平方问题精准化，经此阶段取得高质料 MCQ ₅。
4 个民众干的事 be like，把 "挂着相机的东说念主把钥匙放在何处了？" 精准成"挂着相机的东说念主购物回家后，把自行车钥匙放在何处了？"
如上 pipeline 中，筹商图纳队使用了 GPT-4 来奉命复杂的多法子指示，同期还使用了 CoT 教导计谋。
此外，pipeline 中触及大模子的所有阶段的问题被设为 0.1。
据统计，HourVideo 涵盖 77 种日常生计场景，包含 500 个 Ego4D 视频，视频时长共 381 个小时、平均时长 45.7 分钟，其中 113 个视频时长着手 1 小时。
每个视频有约 26 个高质料五选一题，预计 12976 个问题。
除因果、反事实和导航任务外，问题在职务套件中均匀溜达。
最佳领路仍远低于东说念主类民众水平
在实验评估方面，HourVideo 经受五选多任务问答（MCQ） 任务，以准确率动作评估缱绻，分辨酬劳每个任务以及通盘数据集的准确率。
由于退守信息露出是评估长视频中的 MCQ 时的一个浩大挑战——理思情况下，每个 MCQ 应独处评估，但这种步履计较资本巨高，且十分耗时。
因此，实践评估中按任务或子任务对问题进行分月旦估，关于斟酌任务，提供精准的手艺戳以便对视频进行有针对性的裁剪，从而均衡计较资本和评估准确性。
筹商团队比较了不同的多模态模子在零镜头建立下结实长视频的性能。
主要评估了三类模子，所有这些模子齐在一个通用函数下动手：
盲 LLM：
指是指在评估经过中，不筹商视频内容，仅依靠本人事先检修的常识来恢复问题的大型谈话模子。
实验中以 GPT-4 为代表。它的存在不错揭示模子在多猛进度上依赖于其预检修常识，而不是对视频中实践视觉信息的结实。
苏格拉底模子：
关于大多半现时的多模态模子，径直解决十分长的视频存在贫穷。
因此，经受 Socratic 模子步履，将视频（总时长为 t 分钟）分割成 1 分钟的断绝，每个断绝独处加字幕，然后将这些字幕团聚变成一个全面的基于谈话的视频示意，并与通用任务无关的教导全部动作输入进行长视频问答。
实验平分辨使用 GPT-4 和 LLaVA- NEXT-34-DPO 为视频字幕生成器，并最终使用 GPT-4 进行实践问题恢复。
原生多模态模子：
像 Gemini 1.5 Pro 这么的原生多模态模子，在多模态数据（包括音频、视频、图像和文本）上长入检修，或者解决十分长的高下文长度 *（（2M +），适合径直对 HourVideo 进行端到端评估。
为了与模子性能进行对比，实验东说念主员从基准数据汇聚及第了 14 个视频，涵盖>18 种场景，包括手工制作 / 绘制、烹调、建筑 / 装修、园艺、清洁 / 洗衣和庭院使命等。
然后邀请了3 位东说念主类民众，对上述总时长 11.2 小时的视频内容进行进行评估，共触及 213 个 MCQ。
为确保评估的公平性，参与评估的东说念主类民众未参与过这些视频的早期注意使命。
最终，东说念主类民众在评估中的准确率达到了 85.0% 。
而盲 LLM 的准确率为 19.6%，Socratic 模子准确率略高，原生多模态模子准确率最高，达到了 37.3%，仍然远低于东说念主类民众水平。
此外，独处评估每个 MCQ 与按任务级别评估比拟，性能下落 2.1%，但资本加多 3 倍以上，说明注解了任务级评估步履的遵循和灵验性。
终末，团队示意异日辩论彭胀基准测试，包括更千般化的视频来源（如体育和 YouTube 视频），纳入音频模态救助，并探索其他感官模态。
同期强调在开导模子时需筹商阴事、伦理等问题。
团队成员
HourVideo 面目来自斯坦福李飞飞和吴佳俊团队。
论文共合并作是 Keshigeyan Chandrasegaran 和 Agrim Gupta。
Keshigeyan Chandrasegaran是斯坦福大学计较机科学博士二年齿学生，从事计较机视觉和机器学习筹商，导师是李飞飞和斯坦福视觉与学习实验室（SVL）长入主任胡安 · 卡洛斯 · 尼贝莱斯。
共合并作 Agrim Gupta是斯坦福大学计较机科学专科的博士生，2019 年秋季入学，相同是李飞飞的学生。
此前，他曾在微软、DeepMind，有 Meta 的全职资格，也在 Google 作念过兼职。2018 年时，他就奴婢李飞飞一同在 CVPR 上发表了论文。
面前，Agrim 的 Google Scholar 论文被援用量接近 6400 次。
李飞飞是民众熟谙的 AI 教母，AI 界限内最具影响力的女性和华东说念主之一。
她 33 岁成为斯坦福计较机系终生老师，44 岁成为好意思国国度工程院院士，现任斯坦福以东说念主为本东说念主工智能筹商院（HAI）院长。
计较机视觉界限标杆遵循 ImageNet 亦是由她一手鞭策。
此前，李飞飞曾经旋即干涉工业界，出任谷歌副总裁即谷歌云 AI 首席科学家。她一手鞭策了谷歌 AI 中国中心领路建立，这是 Google 在亚洲建筑的第一个 AI 筹商中心。并率领谷歌云推出了一系列有影响力的产物，包括 AutoML、Contact Center AI、Dialogflow Enterprise 等。
本年，李飞飞晓喻创办空间智能公司 World Labs，公司建立不到 4 个月手艺，估值破裂 10 亿好意思元。
所谓空间智能，即"视觉化为洞悉；看见成为结实；结实导致行动"。
吴佳俊，现任斯坦福大学助理老师，附庸于斯坦福视觉与学习实验室（SVL）和斯坦福东说念主工智能实验室（SAIL）。
他在麻省理工学院完成博士学位，本科毕业于清华大学姚班，曾被誉为"清华十大学神"之一。
同期，他亦然李飞飞创业公司 World Labs 的参谋人。
参考荟萃：
[ 1 ] https://arxiv.org/abs/2411.04998v1
[ 2 ] https://www.worldlabs.ai/team
[ 3 ] https://keshik6.github.io/足球投注app
