A 视频为短视频,B 视频为长视频,A 视频中的所有片段均由 B 视频中剪辑出来(可能经过处理,比如加字幕,加上下边距等)。现在需要检索 A 视频中的所有片段出现在 B 视频中的哪个时间点。
思路:每秒抽取一个关键帧,然后通过图片相似度算法从 B 中找出最匹配的帧,粗略实现了一版,发现效率太低了。假设 A 视频 10 分钟,B 视频 120 分钟,那么平均需要对比 600*12 = 7200 次,图片相似算法使用的 ssim,匹配准确度也不理想。
是否有其他思路,或者开源解决方案,或者付费产品?
1
widewing 2020-05-11 02:20:34 +08:00 via Android
比如每一帧压缩成一个特征,比如中位数什么的,然后匹配两个序列?
|
2
mumbler 2020-05-11 02:23:00 +08:00 via Android
如果有台词,可以语音识别把 AB 分别生成字幕,用字幕时间轴去查找匹配位置,精度远高于图像识别
|
3
mumbler 2020-05-11 02:26:34 +08:00 via Android
没台词也行,声音波形图对比,音乐 APP 常用的哼唱搜索,听音找歌用的就是这种技术
|
4
threebr 2020-05-11 02:59:20 +08:00 via Android
思路肯定是 1l 说的特征提取,然后做近似的匹配,声音和图像都可以,我想到的就是直接做个短时的傅里叶变换
|
5
woolong800 OP @mumbler 声音不行 ,有可能去掉原声了,加的自己的解说配音
|
6
mxT52CRuqR6o5 2020-05-11 10:44:20 +08:00
把 B 视频的每一帧降分辨率然后进行 Spatial Indexing,然后再查
|