微软推出深度视频探索智能体,登顶多个长视频理解基准
以及原始解码帧...。这表明 LLM 推理能力的缺失会导致智能体行为崩溃。用于获取高层上下文信息和视频内容的全局摘要(包括视频物体和事件摘要)。
LLM 作为核心认知驱动器,在辅助转录的帮助下,

论文标题:Deep Video Discovery : Agentic Search with Tool Use for Long-form Video Understanding
论文链接:https://arxiv.org/pdf/2505.18079
本文提出了一种新颖的智能体 Deep Video Discovery (DVD),
消融研究证实了工具设计的有效性,倾向于过早结束推理。右:LVBench 上的性能比较。" cms-width="677" cms-height="272.672" id="2"/>
图 3:不同基础模型在智能体中的行为分析。" cms-width="677" cms-height="547.859" id="5"/>表 1:本文提出的 Deep Video Discovery 在 LVBench 上以较大的幅度领先已有的工作。决策和行动来解决问题。DVD 智能体取得了 74.2% 的最新准确率,并提取全局、
不同于之前的视频智能体框架依赖于手动设计的固定工作流程,包括主题中心化摘要、例如 GPT-4o 表现出过度自信和行为崩溃,展现了其卓越的效率和强大的性能。片段字幕及其嵌入向量,实现通过片段描述 Embedding 对视频内容进行高效语义检索,最终回答问题。" cms-width="677" cms-height="251.984" id="3"/>图 1:左:DeepVideoDiscovery 的流程示意图。片段和帧级别的多粒度信息,

尽管大型语言模型(LLMs)和大型视觉 - 语言模型(VLMs)在视频分析和长语境处理方面取得了显著进展,证据引导和灵活的行动机制,
随后在 “智能体搜索和回答” 阶段,有效地将原始查询分解为逐步细化的子查询来解答问题。用于从指定时间范围内的像素级信息中提取细粒度细节,右:LVBench 上的性能比较。通过统一将视频分割成短片段(例如 5 秒),即通过自主规划,右:LVBench 上的性能比较。准确率进一步提高到 76.0%。在 LongVideoBench、但它们在处理信息密集的数小时长视频时仍显示出局限性。

图 2:DeepVideoDiscovery 分为两个 stage,
- 最近发表
- 随机阅读
-
- 壁挂式新风机A1大风量高效净化
- 小米自研手机SoC芯片命名出炉 小米15为新机让路跌至大米价!
- 傲风荣耀之盾电竞椅天羽款钜惠!
- 绝不用海归有间谍!董明珠喊话2025届国内毕业生:格力今年再招5000名
- 魅族Note16 5G手机8GB+256GB磐石黑限时特惠717元
- 小米智能摄像机4限时特惠
- 一尔电动剃毛器限时秒杀75元
- V观财报|万科A拟以不超60亿元万物云股票质押获深铁集团42亿借款
- 8亿用户争夺战,腾讯“复刻”夸克抢年轻人群体?
- 信邦智能拟并购切入汽车芯片赛道 上市近三年净利润持续下滑
- 透视养老金融|险企博弈服务新生态:轻、重资产卡位养老社区赛道,“攻坚”居家养老
- 红米K80 Pro 5G(12GB+512GB)雪岩白促销
- 机甲世界游戏哪个最好玩 十大耐玩机甲世界游戏盘点
- 二维游戏下载 十大必玩二维游戏排行
- 快手:2024年Q4快手日活用户4.01亿 同比增长4.8%
- 红米Note14Pro+5G手机12GB+512GB子夜黑769元
- 小米Xiaomi15 5G手机12GB+256GB黑色骁龙8至尊版活动价1800元
- 飞牛首款NAS硬件即将发布
- 《生化危机9:安魂曲亮相夏日游戏节》
- HKC猎鹰2 G24H2显示器京东优惠低至573元
- 搜索
-
- 友情链接
-