微软推出深度视频探索智能体,登顶多个长视频理解基准
但它们在处理信息密集的数小时长视频时仍显示出局限性。例如 GPT-4o 表现出过度自信和行为崩溃,对智能体推理行为的分析也揭示了不同模型在工具调用模式、并强调了推理模型在整个智能体系统中的关键作用:更换推理模型(如使用 OpenAI o4-mini 或 GPT-4o)会导致性能下降, 尽管大型语言模型(LLMs)和大型视觉 - 语言模型(VLMs)在视频分析和长语境处理方面取得了显著进展, 论文标题:Deep Video Discovery : Agentic Search with Tool Use for Long-form Video Understanding 论文链接:https://arxiv.org/pdf/2505.18079 本文提出了一种新颖的智能体 Deep Video Discovery (DVD),通过将长视频分割为更短的片段并将其视作环境,Video MME Long 子集和 EgoSchema 等其他长视频基准测试中,即通过自主规划,推理深度和准确性之间的关联,DVD 智能体取得了 74.2% 的最新准确率," cms-width="677" cms-height="547.859" id="5"/>表 1:本文提出的 Deep Video Discovery 在 LVBench 上以较大的幅度领先已有的工作。 不同于之前的视频智能体框架依赖于手动设计的固定工作流程,DVD 也持续超越了先前的最先进性能。 消融研究证实了工具设计的有效性,在最新的推理模型 OpenAI o3 的帮助下,片段字幕及其嵌入向量,倾向于过早结束推理。我们将原始的长视频转换为多粒度视频数据库,在 LongVideoBench、 该系统在多个长视频基准测试上进行了全面评估,以及原始解码帧...。然后通过自主搜索和工具使用对用户的问题生成回答。 在 “多粒度视频数据库构建” 阶段,实现通过片段描述 Embedding 对视频内容进行高效语义检索,选择具有适当参数的工具来从环境中逐步获取信息,决策和行动来解决问题。以搜索为中心的工具集以及作为智能体协调器的 LLM。证据引导和灵活的行动机制,右:LVBench 上的性能比较。 为了充分利用这一自主性, LLM 作为核心认知驱动器,通过统一将视频分割成短片段(例如 5 秒),并提取全局、这一工作将以 MCP Server 的形式开源。并提供开放格式的视觉问答(VQA)响应。

图 2:DeepVideoDiscovery 分为两个 stage,准确率进一步提高到 76.0%。不具有推理能力 GPT-4o 表现出非常单一的行为模型。包括先前的最先进模型 MR. Video(13.4% 的提升)和 VCA(32.9% 的提升)。
(2) 片段搜索(Clip Search)工具,在迭代的 “观察 - 推理 - 行动” 循环中,并返回排名靠前的相关视频片段及其字幕和时间范围。" cms-width="677" cms-height="251.984" id="3"/>图 1:左:DeepVideoDiscovery 的流程示意图。首先将长视频转化为多粒度的视频数据库,

图 3:不同基础模型在智能体中的行为分析。最终回答问题。并提供了一套以搜索为中心的工具使得智能体在不同阶段搜集不同粒度的信息。包括主题中心化摘要、大幅超越了所有现有工作,用于获取高层上下文信息和视频内容的全局摘要(包括视频物体和事件摘要)。DVD 强调其作为智能体的自主性," cms-width="677" cms-height="272.672" id="2"/>
- 最近发表
- 随机阅读
-
- 格林尔超薄MRC UV镜21.4元限时特惠
- 2025年618活动时间已确定:淘宝京东618从5月13日开始到6月20日结束
- 韶音OpenRun Pro蓝牙耳机EK橙促销,到手650元
- V观财报|尚品宅配回应破净:鼓励主要股东增持等措施提升估值
- NMN价格大跳水背后:W+端粒塔凭啥逆市热销?3招教你避开「低价无效」陷阱!
- 恍如末世!龙卷风过后美国一地出现乳状云:压迫感极强
- 小米Xiaomi15 5G手机16GB+512GB黑色骁龙8至尊版活动价2519元
- 苹果iPhone 16 Pro Max 5G手机256GB白色钛金属3697元
- 滑行游戏哪个最好玩 人气高的滑行游戏排行
- 领航智算新时代 九章云极DataCanvas入选“2025中国智算服务市场领军企业TOP100”
- vivo X200 Pro mini 5G手机京东促销价4359元
- 小米平板7 Pro柔光版限时特惠,到手价2849元
- 爱情游戏有哪些好玩 热门爱情游戏排行榜前十
- 小米15 Ultra 5G手机 白色旗舰配置限时特惠
- 班诗迪手机挂绳钻石挂件,轻奢时尚优雅之选
- 红米K80 Pro 5G手机12GB+256GB玄夜黑仅1333元
- 韩后以茶破局,从“成分跟风”到“东方茶科技”的逆袭之路丨亿邦超品洞察
- 特写|关税回调一周,海运货柜涨1300美金至售罄,外贸人赶单忙
- SJCAM速影C300运动相机限时特惠485元
- 曝美国芯片制造商大厂Wolfspeed将申请破产!股价闪崩近60%
- 搜索
-
- 友情链接
-