V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
3dwelcome
V2EX  ›  程序员

为什么 waifu2x 图片放大效果那么差,我自己的算法效果那么好?

  •  
  •   3dwelcome · 2021-06-28 14:06:07 +08:00 · 4796 次点击
    这是一个创建于 1243 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一图胜千言:

    原图对比

    最上面就是原图片(像素是 400 宽度),中间是最新版本 waifu2x,而最下面是我自己的图片放大版本。

    为什么最终差距会拉开那么大?首先申明,最下面没加任何锐化滤镜,就是原图输出。

    35 条回复    2021-06-29 10:28:30 +08:00
    3dwelcome
        1
    3dwelcome  
    OP
       2021-06-28 14:13:17 +08:00
    我传了一张稍微高清点的图片



    大家可以保存下来试试,用任何图片软件放大 2 倍,效果都很不好。除非用 photoshop 手动慢慢调。
    snachx
        2
    snachx  
       2021-06-28 14:14:32 +08:00
    如果是真心要问为什么的话,应该贴算法细节和代码

    如果只是秀的话,那当我没说,你发的这个例子看起来是很好的
    shaojz2005
        3
    shaojz2005  
       2021-06-28 14:23:49 +08:00
    你的算法好像是抹匀了一样
    idealhs
        4
    idealhs  
       2021-06-28 14:27:57 +08:00   ❤️ 12
    你写的算法,我怎么知道为什么?
    mokeyjay
        5
    mokeyjay  
       2021-06-28 14:28:29 +08:00
    我尝试了一下,waifu2x 放大倍率 3,降噪 1 级,效果挺不错的。相比而言,我更喜欢涂抹感少的图片,你这个算法有点涂抹过头了
    thet
        6
    thet  
       2021-06-28 14:29:25 +08:00
    你牛逼呗
    MarkLeeyun
        7
    MarkLeeyun  
       2021-06-28 14:33:48 +08:00
    你牛逼。。。
    hanyceZ
        8
    hanyceZ  
       2021-06-28 14:36:07 +08:00
    自己写的代码自己不知道吗,无语
    3dwelcome
        9
    3dwelcome  
    OP
       2021-06-28 14:36:19 +08:00
    @mokeyjay 我用的是 waifu2x-caffe,也不知道是不是原版本效果要稍微好一些。

    可是 waifu2x 出的图,总有一种迷雾模糊的直观感觉。有些图效果很好(可能正好撞上训练集),这张图就不行,有没有办法后期处理掉模糊?
    delectate
        10
    delectate  
       2021-06-28 14:37:29 +08:00
    原图不行,waifu2x 已经很不错了好不好?

    你这个完全靠涂抹、去噪、锐化。调参侠,你这样瞎整有意义?
    3dwelcome
        11
    3dwelcome  
    OP
       2021-06-28 14:37:57 +08:00
    @hanyceZ “自己写的代码自己不知道吗,无语”

    AI 说不清的,waifu2x 不是每一张图放大,效果都那么差,我就是不明白发挥不稳定的根本原因。
    3dwelcome
        12
    3dwelcome  
    OP
       2021-06-28 15:06:21 +08:00
    @delectate 我还有一堆对比图片,其中 90%都能秒杀 waifu2x

    这是 PS2 模拟器上的截图对比。waifu2x 对细丝发卡完全没用,放大后马赛克满天飞,一点不夸张。

    TrembleBeforeMe
        13
    TrembleBeforeMe  
       2021-06-28 15:28:30 +08:00
    涂抹大师
    mokeyjay
        14
    mokeyjay  
       2021-06-28 15:34:58 +08:00
    你说那么多,不如把算法开源出来大家试试看几斤几两。waifu2x 都 2w star 了,你这开源出来保守翻一倍
    lusi1990
        15
    lusi1990  
       2021-06-28 15:50:57 +08:00
    双线性插值?
    liprais
        16
    liprais  
       2021-06-28 15:51:49 +08:00   ❤️ 1
    "原因是 waifu2x 选取的训练集有问题,他用一大堆高清原图缩小后,创建了训练对比样本,这一步就错了。这样放大时,AI 根本没办法添加原本不存在的更多细节,最多只是平滑和锐化画面算法。但其实 AI 卡通绘画需要的创造力细节,远远不止如此。"
    原因你自己不是说了么
    3dwelcome
        17
    3dwelcome  
    OP
       2021-06-28 16:00:18 +08:00
    @liprais 话虽如此,但我总觉得无意间触发了 waifu 的 bug 。

    我把一楼的图上传到 https://waifu2x.me 上,side by side 对比,放大后清晰度完全没变,只有噪点降下来了。

    理论上不应该啊,很奇怪。
    tankren
        18
    tankren  
       2021-06-28 16:14:18 +08:00
    涂抹感太重了
    ynyounuo
        19
    ynyounuo  
       2021-06-28 16:15:13 +08:00
    你这个出图效果更类似 vmToon + WarpSharp
    Kagari
        21
    Kagari  
       2021-06-28 16:19:58 +08:00
    原图这么糊 waifu 来干啥
    mikumkf
        22
    mikumkf  
       2021-06-28 16:22:15 +08:00   ❤️ 1
    是因为输入的原图,不仅仅经过了下采样的操作减低分辨率,还经过了各种的压缩损失了信息,从而出现 domain gap 。而 waifu 最原始的算法基于 SRCNN 在训练的时候并没有考虑到这些情况。如果重新训练 waifu 用楼主自己的数据集,在 2x 倍的放大倍率下应该是没太大差距的
    3dwelcome
        23
    3dwelcome  
    OP
       2021-06-28 16:26:10 +08:00
    @1423 这个效果才对嘛。。虽然缩小后细节都没了,但是边缘不糊了!

    弄了大半天,是给 waifu2x 的原图片尺寸太大了吗?晕过去。
    CrazyRundong
        24
    CrazyRundong  
       2021-06-28 17:42:19 +08:00 via iPhone
    刚好再过两个月就是 ICLR abstraction deadline 了,楼主对自己算法有信心的话交一篇 submission ?
    3dwelcome
        25
    3dwelcome  
    OP
       2021-06-28 17:50:34 +08:00
    @CrazyRundong 这图片只是刚好击中了 waifu 的软肋,只要原图不模糊,足够清晰,两者放大效果应该半斤八两。

    最多就是加一点涂抹感,但厚涂也是艺术!
    icyalala
        26
    icyalala  
       2021-06-28 18:31:48 +08:00   ❤️ 1
    如果单看楼主的那些图片:
    waifu2x 是按图片是 "缩小" 过的为假设,尝试去还原 "原图"。
    你给的图片是 "缩小&模糊" 过的,那 waifu2x 还原后的原图应该是 "模糊" 过的,这点 waifu2x 完全没问题。

    例如我拍了张景深很浅的照片,背景本来就是漂亮的虚化,如果处理后虚化也给变清晰了那就不对了。
    suyeH
        27
    suyeH  
       2021-06-28 18:40:14 +08:00
    不就是图像超分吗,随便找篇 sota 的顶会 paper 的开源模型就完事了,看你这效果十分不自然,这有什么可以炫耀的?
    ReferenceE
        28
    ReferenceE  
       2021-06-28 18:42:34 +08:00 via Android
    @suyeH 别尬黑,别人是"自研"。是啥水平拉出来溜溜,算法代码开源一切都知道了
    3dwelcome
        29
    3dwelcome  
    OP
       2021-06-28 18:51:50 +08:00
    @suyeH 又不是所有的顶会 paper 都开源的,开源只是其中一部分而已。

    比如 stylegen2 开源了,硬件要求 12G 显存,我估计 V2 硬件满足标准的人数,不到 1%。
    longbye0
        30
    longbye0  
       2021-06-28 19:27:08 +08:00
    waifu2x 用的开源模型几年前的了,动画真的是 easy 模式
    root99527
        31
    root99527  
       2021-06-28 19:38:40 +08:00
    你的输入图的退化模型是怎么样的?
    jander1234
        32
    jander1234  
       2021-06-29 06:06:18 +08:00
    ‮⁢?⁢清⁢不⁢说⁢也⁢己⁢自⁢以⁢所⁢?⁢了⁢法⁢算⁢𝗥⁢𝗦⁢𝗙⁢的⁢源⁢开⁢近⁢最⁢𝗗⁢𝗠⁢𝗔⁢了⁢考⁢参⁢是⁢不⁢是⁢你
    chocotan
        33
    chocotan  
       2021-06-29 09:08:59 +08:00
    @3dwelcome 你怎么不说全国全球硬件满足标准的人数呢。。。
    3dwelcome
        34
    3dwelcome  
    OP
       2021-06-29 10:18:45 +08:00
    @jander1234 肯定有一部分参考开源的,也有一部分是自己原创的。这点我不否认。

    大部分是 AI 厚涂学习算法,不能算传统的图片处理算法。

    至于这算法代码是不是开源,其实真无所谓,github 上高手满天飞。多我一个不多,少我一个不少。
    3dwelcome
        35
    3dwelcome  
    OP
       2021-06-29 10:28:30 +08:00
    @jander1234 我查了一下 AMD,没代码啊,说最早也要下个月呢。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1016 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 19:43 · PVG 03:43 · LAX 11:43 · JFK 14:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.