微软推出深度视频探索智能体,登顶多个长视频理解基准
准确率进一步提高到 76.0%。通过将长视频分割为更短的片段并将其视作环境,即通过自主规划,并强调了推理模型在整个智能体系统中的关键作用:更换推理模型(如使用 OpenAI o4-mini 或 GPT-4o)会导致性能下降,并提取全局、 不同于之前的视频智能体框架依赖于手动设计的固定工作流程,DVD 也持续超越了先前的最先进性能。包括主题中心化摘要、并提供了一套以搜索为中心的工具使得智能体在不同阶段搜集不同粒度的信息。这一工作将以 MCP Server 的形式开源。并返回排名靠前的相关视频片段及其字幕和时间范围。" cms-width="677" cms-height="547.859" id="5"/>表 1:本文提出的 Deep Video Discovery 在 LVBench 上以较大的幅度领先已有的工作。然后通过自主搜索和工具使用对用户的问题生成回答。 在 “多粒度视频数据库构建” 阶段,右:LVBench 上的性能比较。这些行为模式的分析进一步为未来的智能体设计以及基础语言模型的发展提供了实践参考。在迭代的 “观察 - 推理 - 行动” 循环中,在 LongVideoBench、从而赋予智能体自主、在最新的推理模型 OpenAI o3 的帮助下, 图 2:DeepVideoDiscovery 分为两个 stage, (3) 帧检查(Frame Inspect),最终回答问题。通过统一将视频分割成短片段(例如 5 秒),右:LVBench 上的性能比较。具体来说该系统主要由三个核心组件构成:多粒度视频数据库、推理深度和准确性之间的关联, DVD 以这一简洁有效的 agentic 框架在非常具有挑战性的 LVBench 上以 74.2% 的准确率大幅超越了之前的工作。" cms-width="677" cms-height="272.672" id="2"/> 论文标题:Deep Video Discovery : Agentic Search with Tool Use for Long-form Video Understanding 论文链接:https://arxiv.org/pdf/2505.18079 本文提出了一种新颖的智能体 Deep Video Discovery (DVD),右:LVBench 上的性能比较。但它们在处理信息密集的数小时长视频时仍显示出局限性。 为了充分利用这一自主性, 图 3:不同基础模型在智能体中的行为分析。以搜索为中心的工具集以及作为智能体协调器的 LLM。" cms-width="677" cms-height="251.984" id="3"/>图 1:左:DeepVideoDiscovery 的流程示意图。倾向于过早结束推理。包括先前的最先进模型 MR. Video(13.4% 的提升)和 VCA(32.9% 的提升)。有效地将原始查询分解为逐步细化的子查询来解答问题。实现通过片段描述 Embedding 对视频内容进行高效语义检索, 尽管大型语言模型(LLMs)和大型视觉 - 语言模型(VLMs)在视频分析和长语境处理方面取得了显著进展, 随后在 “智能体搜索和回答” 阶段,系统将超长视频转换为一个结构化数据库,大幅超越了所有现有工作,片段和帧级别的多粒度信息,
- 最近发表
- 随机阅读
-
- 个人信息防弹衣!“国家网络身份认证”来了:申领攻略公布
- 全球首例!基因编辑蜘蛛成功吐出红色荧光蛛丝
- 海尔进阶术:一家老牌制造企业是怎么做到的?
- 718斤“中国第一胖”减掉半个自己:四个月瘦了300斤
- 信邦智能拟并购切入汽车芯片赛道 上市近三年净利润持续下滑
- 全球限量版《四库全书》将1740万元起拍
- 7.98万买中型插混SUV 纯电续航起步就165km!蓝电E5 PLUS先享版杀疯了
- 魅族Note16 5G手机8GB+256GB磐石黑限时特惠717元
- 农业游戏大全 2024农业游戏排行榜
- 沁园小白鲸智显pro1200G净水器超值优惠价
- 快手:2024年Q4快手日活用户4.01亿 同比增长4.8%
- 万代公布夏亚专用扎古模型细节,12月发售
- 一文看全 COMPUTEX 2025电脑展微星显示器新品介绍
- 618购机指南,从1000
- 太空模拟游戏哪个最好玩 2024太空模拟游戏推荐
- V观财报|三连板浪莎股份:股东西藏巨浪减持1%
- 滑雪游戏有哪些好玩 最新滑雪游戏精选
- 车企比别的行业喝酒厉害!零跑朱江明自曝:造车10年比前24年喝的酒都多
- V观财报|中航产融将于5月27日终止上市并摘牌
- 谢方敏:驱动行业生态重构,助力互联网医疗数智化升级
- 搜索
-
- 友情链接
-