V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
fzzff
V2EX  ›  程序员

求助: 后端拿到视频流后对每帧图片进行画框处理, 处理完成后如何才能生成新的视频流?

  •  
  •   fzzff · 2023-11-09 16:46:23 +08:00 · 927 次点击
    这是一个创建于 371 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前需要实现的大致逻辑是前端使用 webrtc 对屏幕进行录制并将录制视频流传至后端, 后端逐帧修改后生成新的视频流提供给其他程序使用。 如何把我后端处理完的每帧图片处理成 rtmp 视频流推送出去, 求大佬指点下给个思路

    5 条回复    2023-11-09 17:57:21 +08:00
    hello2090
        1
    hello2090  
       2023-11-09 16:52:34 +08:00
    其他的程序怎么收你怎么发呗,但你肯定要经过某个编码器编码成一种视频格式的哇,不然一秒 30 帧不压缩这么大数据量怎么传。
    fzzff
        2
    fzzff  
    OP
       2023-11-09 17:01:29 +08:00
    @hello2090 你的意思是先将图片转为视频, 再由视频转为视频流吗? 前端那边推送过来的流是源源不断的, 是需要按规则处理成多段视频再合并成视频流吗
    hello2090
        3
    hello2090  
       2023-11-09 17:06:10 +08:00 via iPhone
    没仔细看你是要 rtmp, rtmp 不是有开源的 client 库吗? librtmp? 你按照他的 API 来不就好了。他至少是支持 h.264 的视频和 aac 的音频我记得。

    你收到的是一帧,每秒 30 帧,把他传给编码器,编码器输出的放到 librtmp 的 API 里就行了。

    当然你们要是一点音视频编码的 code 都没有,那是有点麻烦
    paopjian
        4
    paopjian  
       2023-11-09 17:21:33 +08:00
    开源的不是有 yolo 处理视频么,看看他们怎么做的
    tangtang369
        5
    tangtang369  
       2023-11-09 17:57:20 +08:00
    如果只是一路还没啥问题,现在的硬件编码其实都一般
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5357 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 07:15 · PVG 15:15 · LAX 23:15 · JFK 02:15
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.