只需要录音文件， AI 自动生成视频

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

爱意满满的作品展示区。

这是一个创建于 978 天前的主题，其中的信息可能已经有所发展或是发生改变。

在开发了33 搜帧之后，我突发奇想，既然可以根据文案匹配到关联的画面，那么理论上是可以在这个基础上实现一个自动生成视频的功能。


33 搜帧是一个使用 AI 技术构建的视频画面搜索引擎，它的核心能力是通过文本来搜索相关视频素材里面的帧画面。

于是，经过了七七四十九天的闭关，终于搞了一个初步能用的版本。

只要你录好音，这个工具就能帮你生成一个视频，具体步骤如下：

第一步：上传录音文件

第二步：语音识别生成台词文本，修正识别错误的部分

第三步：选择匹配的素材，然后一键生成视频。

目前可能还存在很多局限性，不过还是值得作为视频创作者的你前来一试的~

体验链接：33 搜帧

搜帧

生成

视频

素材

18 条回复 • 2022-03-22 11:01:03 +08:00

id4alex

2022-03-19 18:40:52 +08:00

上传文本, 借助 api 合成音频和视频.

起码我看到 YouTube 是有人这样做的.

moonkiller

2022-03-19 18:41:56 +08:00

🐮啊
这就去试试

yedaxia

2022-03-19 18:45:31 +08:00

@id4alex 啊，没有感情的工作机器~

C603H6r18Q1mSP9N

2022-03-19 18:48:46 +08:00

你看是不是这个： https://cc.oceanengine.com/creative-factory/jishi/4?page=tool

advancejar

2022-03-19 21:11:54 +08:00

非常好的创意，完善了真的是 ai 创造给人看了

yedaxia

2022-03-19 22:58:11 +08:00

@advancejar 谢谢支持。

Chihaya0824

2022-03-21 01:00:04 +08:00

草，想起了我们学校以前就有人做过一模一样的东西

phithon

2022-03-21 02:37:36 +08:00

这个真的支持！

haiyan

2022-03-21 08:37:44 +08:00

@id4alex 我写过把小说变成视频上传 youtube ，被封了很多号，就算求了

yws112358

2022-03-21 09:57:32 +08:00

积分扣除有点问题啊
我刚才用 read aloud 生成了一段音频注册给了 50 积分。生成一次扣了 23 积分。生成之后发现有个片段有问题。，返回编辑，结果又扣了 23 ，并且可能由于缓存，编辑的片段并未生效，还是原来那个

hwwang112244

2022-03-21 14:09:31 +08:00

请教下，这个具体的视频素材是哪儿来的，有侵权的风险吗？

hbtech

2022-03-21 14:38:31 +08:00

我是之前内测的时候就注册了，后面送了我 500 积分。现在似乎有点问题，剪切一直显示失败，一看积分还扣除了

xueyangkk

2022-03-22 10:13:46 +08:00

我上上家公司做过类似的产品，给你提供点思路吧他们做的是识别电影中的物体台词等等，搜所的时候可以根据物体和台词组合成新的短片。举个例子我爱你周星驰在大话西游说过梁朝伟在某部片子里说过等等等。。最后组合成一部我爱你的合集。这个有个困难的是版权怎么解决？其次训练的精度尤其是截取片段的准确度要很高。这些问题一直弄了很久 .... 最后上线了但是商业化变现又很困难。客户是 MCN 机构试用一段时间反馈效果是不准，其次是资源不够多等等问题

yedaxia

2022-03-22 10:51:52 +08:00

@hbtech 谢谢反馈，这个是昨天升级服务器导致的，现在已经修复了，这边会补偿积分。

yedaxia

2022-03-22 10:52:50 +08:00

@yws112358 嗯谢谢反馈，是缓存问题，已经修复了。

yws112358

2022-03-22 10:57:17 +08:00

@yedaxia #15 反复编辑的项目可以不扣积分或者酌情减少积分扣除吗

yedaxia

2022-03-22 11:00:00 +08:00

@xueyangkk 谢谢建议。

yedaxia

2022-03-22 11:01:03 +08:00

@yws112358 嗯，这个后续会完善一下~