V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
woolong800
V2EX  ›  视频技术

如何检索 A 视频中的片段在 B 视频中出现的时间点?

  •  
  •   woolong800 · 2020-05-11 01:41:07 +08:00 · 1579 次点击
    这是一个创建于 1655 天前的主题,其中的信息可能已经有所发展或是发生改变。

    A 视频为短视频,B 视频为长视频,A 视频中的所有片段均由 B 视频中剪辑出来(可能经过处理,比如加字幕,加上下边距等)。现在需要检索 A 视频中的所有片段出现在 B 视频中的哪个时间点。

    思路:每秒抽取一个关键帧,然后通过图片相似度算法从 B 中找出最匹配的帧,粗略实现了一版,发现效率太低了。假设 A 视频 10 分钟,B 视频 120 分钟,那么平均需要对比 600*12 = 7200 次,图片相似算法使用的 ssim,匹配准确度也不理想。

    是否有其他思路,或者开源解决方案,或者付费产品?

    6 条回复    2020-05-11 10:44:20 +08:00
    widewing
        1
    widewing  
       2020-05-11 02:20:34 +08:00 via Android
    比如每一帧压缩成一个特征,比如中位数什么的,然后匹配两个序列?
    mumbler
        2
    mumbler  
       2020-05-11 02:23:00 +08:00 via Android
    如果有台词,可以语音识别把 AB 分别生成字幕,用字幕时间轴去查找匹配位置,精度远高于图像识别
    mumbler
        3
    mumbler  
       2020-05-11 02:26:34 +08:00 via Android
    没台词也行,声音波形图对比,音乐 APP 常用的哼唱搜索,听音找歌用的就是这种技术
    threebr
        4
    threebr  
       2020-05-11 02:59:20 +08:00 via Android
    思路肯定是 1l 说的特征提取,然后做近似的匹配,声音和图像都可以,我想到的就是直接做个短时的傅里叶变换
    woolong800
        5
    woolong800  
    OP
       2020-05-11 10:17:19 +08:00
    @mumbler 声音不行 ,有可能去掉原声了,加的自己的解说配音
    mxT52CRuqR6o5
        6
    mxT52CRuqR6o5  
       2020-05-11 10:44:20 +08:00
    把 B 视频的每一帧降分辨率然后进行 Spatial Indexing,然后再查
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1924 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 16:18 · PVG 00:18 · LAX 08:18 · JFK 11:18
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.