V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
daimaosix
V2EX  ›  问与答

TB 级小文件备份方案

  •  
  •   daimaosix · 2020-05-04 18:09:41 +08:00 · 4139 次点击
    这是一个创建于 1662 天前的主题,其中的信息可能已经有所发展或是发生改变。

    服务器存放了大概 50T 的小文件数据,并且在不断增长中,目前想把这些数据备份到国内网盘上,但好像没有合适的增量备份方案,不知道各位有其他想法吗?

    33 条回复    2020-05-06 08:56:03 +08:00
    alexkkaa
        1
    alexkkaa  
       2020-05-04 18:20:26 +08:00 via Android
    国内网盘? gdrive 他不香吗
    daimaosix
        2
    daimaosix  
    OP
       2020-05-04 18:23:14 +08:00
    @alexkkaa 服务器都在国内,gdrive 用不了啊
    superrichman
        3
    superrichman  
       2020-05-04 18:24:24 +08:00 via iPhone
    妈耶 50t 数据,你还是买几块硬盘备份比较靠谱。
    alexkkaa
        4
    alexkkaa  
       2020-05-04 18:27:56 +08:00 via Android
    @daimaosix 可以挂个代理试试
    daimaosix
        5
    daimaosix  
    OP
       2020-05-04 18:29:19 +08:00
    @superrichman emmmm,硬盘要买好几块...而且主要是本地的网络不行,备份太慢了
    daimaosix
        6
    daimaosix  
    OP
       2020-05-04 18:49:17 +08:00
    @alexkkaa 太慢了老哥,50T 真不知道要备份到什么时间了....
    renmu
        7
    renmu  
       2020-05-04 19:00:02 +08:00 via Android
    看看国内哪家对象存储有解决方案,网盘应该是解决不了你的问题了
    yuzo555
        8
    yuzo555  
       2020-05-04 19:02:38 +08:00
    还是存到对象存储吧。

    新文件主动上传(或使用提供的 API 远程抓取)到对象存储,部分服务商(七牛、腾讯)提供镜像存储功能,如果新文件上传后一定会被访问,也可以设置镜像存储来同步新文件。
    老文件使用他们提供的迁移工具慢慢迁移咯。
    AntonChen
        9
    AntonChen  
       2020-05-04 19:03:39 +08:00 via Android
    阿里云 oss 归档存储
    aver4vex
        10
    aver4vex  
       2020-05-04 19:08:44 +08:00 via Android   ❤️ 3
    文件加密,名字都改成番号,群发各种 bt 论坛。
    GoLand
        11
    GoLand  
       2020-05-04 20:00:56 +08:00   ❤️ 3
    https://juicefs.com/

    jfs 了解一下,比较靠谱。
    a719114136
        12
    a719114136  
       2020-05-04 20:05:04 +08:00 via Android
    个人还是公司的,公司的话可以考虑 hdfs 以及其他分布式文件系统。
    个人的话还是多买一个硬盘每天定时拷贝吧
    Mai1me
        13
    Mai1me  
       2020-05-04 20:21:45 +08:00 via Android
    50t 数据 用 国内 网盘备份
    应该是家里有矿了。
    SingeeKing
        14
    SingeeKing  
       2020-05-04 20:29:21 +08:00
    国内几乎唯一靠谱的方式是买硬盘做 RAID5 或者 RAID10,要不然就不考虑成本去买阿里腾讯的归档存储

    国外的话,短时间 G Suite (自己买,不是白嫖)无限容量足够
    daimaosix
        15
    daimaosix  
    OP
       2020-05-04 20:43:52 +08:00
    @GoLand 没看明白这个是干啥的老哥
    daimaosix
        16
    daimaosix  
    OP
       2020-05-04 20:45:45 +08:00
    @GoLand 共享文件系统,如果存储用的都是第三方云厂商的,怎么看他定价还有一个自己的存储定价,专业版 0.13/GiB/月
    efaun
        17
    efaun  
       2020-05-04 20:49:30 +08:00
    冷备份或者磁带备份成本低又有保障
    flynaj
        18
    flynaj  
       2020-05-04 21:53:32 +08:00 via Android
    50t 一套 6t 硬盘就要 10 个。没有哪家的网盘这么大吧
    isnullstring
        19
    isnullstring  
       2020-05-04 21:57:07 +08:00
    直接买硬盘备份不好么,备份恢复速度又快
    价格也比任意云存便宜
    huihuilang
        20
    huihuilang  
       2020-05-04 22:23:26 +08:00 via Android
    用 115 吧,淘宝 1tb 充值打折才 10 块钱。。。50tb 也就几百块钱的事情。。。另外本地再搞个冷备份吧
    hyshuang2006
        21
    hyshuang2006  
       2020-05-04 22:50:08 +08:00
    50T ?信息没给全,怎么提供合适的建议。说不定有前面累积的数据都可以归档。
    daimaosix
        22
    daimaosix  
    OP
       2020-05-04 23:02:50 +08:00
    @flynaj 用 115 可以

    @huihuilang 是的,用的 115
    zakokun
        23
    zakokun  
       2020-05-04 23:04:46 +08:00
    这种一般都是弄对象存储啊, 方便检索和下载
    hst001
        24
    hst001  
       2020-05-04 23:30:03 +08:00
    直接买硬盘去机房拷贝吧,之后每天定时远程备份
    ceyes
        25
    ceyes  
       2020-05-05 00:56:20 +08:00 via iPhone
    aws S3 了解一下?
    msg7086
        26
    msg7086  
       2020-05-05 05:20:30 +08:00 via Android
    自己买硬盘本地慢慢下最靠谱了。
    放云,你就不怕账号没了文件取不回来?
    云当作第二备份倒是可以。第一备份还是放在自己手里好些。
    tankren
        27
    tankren  
       2020-05-05 08:54:38 +08:00
    还不如本地再备份一遍呢
    flynaj
        28
    flynaj  
       2020-05-05 10:05:59 +08:00
    @daimaosix #22 115 我看官网 500 块一年 有 5T,50T 一年就要 5000.
    GoLand
        29
    GoLand  
       2020-05-05 12:53:43 +08:00
    @daimaosix jfs 其实做的事就是让你像访问本地文件系统一样访问 oss,数据还是存在 oss
    daimaosix
        30
    daimaosix  
    OP
       2020-05-05 14:40:45 +08:00
    @flynaj 去淘宝买兑换码,5T 大概 30 块钱左右,永久生效,无上限。
    efaun
        31
    efaun  
       2020-05-05 21:01:41 +08:00
    @GoLand #29 我也看了下这个网站,但是他说的 1T 免费空间没懂,是注册了账号就可以使用他存储 1T 的数据(使用他提供的空间,就是一个免费网盘),还是可以通过他往自己的 oss 存 1T 的数据(使用自己的空间,类似 multcloud )?
    flynaj
        32
    flynaj  
       2020-05-05 23:16:25 +08:00 via Android
    @daimaosix 怎么可能,要真是这样只能说明 115 要跑路了。30 块怎么都不够一年的电费。
    wanguorui123
        33
    wanguorui123  
       2020-05-06 08:56:03 +08:00 via iPhone
    50T 小文件,要传 n 久吧
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1023 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 19:46 · PVG 03:46 · LAX 11:46 · JFK 14:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.