V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lslqtz
V2EX  ›  问与答

存超大文件用啥比较好?

  •  
  •   lslqtz · 2017-08-20 20:41:00 +08:00 · 7428 次点击
    这是一个创建于 2651 天前的主题,其中的信息可能已经有所发展或是发生改变。
    担心硬盘损坏,准备整盘备份...
    但是很多云盘之类的好像都不支持上传超大文件...
    单个镜像应该是 100-250G 左右... 有什么好的方案么
    53 条回复    2017-09-09 23:29:03 +08:00
    rssf
        1
    rssf  
       2017-08-20 20:42:02 +08:00 via iPhone
    自备 nas
    wtks1
        2
    wtks1  
       2017-08-20 20:43:04 +08:00 via iPhone
    分卷压缩添加恢复纪录,然后再上传到多个网盘互为备份不就行了?
    em70
        3
    em70  
       2017-08-20 20:45:35 +08:00
    再买块 1T 硬盘,385 元
    lslqtz
        4
    lslqtz  
    OP
       2017-08-20 20:45:36 +08:00   ❤️ 1
    @rssf NAS 也是用的硬盘,担心有损坏风险而且成本有点高了。。
    lslqtz
        5
    lslqtz  
    OP
       2017-08-20 20:46:31 +08:00
    @wtks1 恢复记录好像没啥办法...没有足够的临时空间来再次压缩
    rssf
        6
    rssf  
       2017-08-20 20:55:16 +08:00 via iPhone
    @lslqtz 你多买几块作 raid1 不比任何网盘更保险?考虑到传输成本,硬盘真的还贵吗?
    lslqtz
        7
    lslqtz  
    OP
       2017-08-20 21:01:08 +08:00
    @rssf 传输成本可以接受... 主要还是没钱
    xinglp
        8
    xinglp  
       2017-08-20 21:04:14 +08:00 via Android   ❤️ 1
    为什么不用差分备份,难道隔三差五来一次镜像备份么
    lslqtz
        9
    lslqtz  
    OP
       2017-08-20 21:08:01 +08:00
    @xinglp 差分备份是不错,但我并没找到(不了解)相关备份工具...
    如果是差分备份的话,对于网盘或许工具得支持每次新增 /删除的文件(信息)都额外使用新文件保存,否则只能全部重新上传覆盖网盘里的内容...
    wevsty
        10
    wevsty  
       2017-08-20 21:12:52 +08:00   ❤️ 1
    不缺带宽的话可以考虑 OSS,Amazon S3 之类的服务。
    不过如果长时间的储存,或者经常需要访问的话,自己买硬盘的储存成本可能比这种服务要低很多。
    具体的情况可能要根据楼主自己的情况来核算过才知道。
    lslqtz
        11
    lslqtz  
    OP
       2017-08-20 21:25:21 +08:00
    @wevsty 具体的话,我计算过了...
    便宜是都很便宜,主要是取回贵...
    价格是这样的,用 OSS 的话:
    OSS 归档型单价:0.033 / GB / 月,外网流出流量(00:00-08:00 / 闲时):0.25 元 / GB
    存储一个月(1000G) 是 33 元,但是下载的话就要 250 元...

    用归档存储的话:
    华南(深圳)
    数据存储:0.06 元 / GB / 月,数据取回:0.06 / 元 / GB,数据传出(公网) ( 0:00-7:59 ):0.375 元 / GB
    存储一个月(1000G) 是 60 元,但是下载要 60 + 375 元...

    用 Amazon Glacier 的话:
    欧洲(伦敦)
    存储定价:$0.0045(0.027 元) / 月 / GB,检索定价(批量):$0.0026(0.0156 元) / GB,数据传出:$0.090(0.54 元) / GB
    存储一个月(1000G) 是 27 元,下载是 15.6 + 540 元...
    citydog
        12
    citydog  
       2017-08-20 21:37:30 +08:00
    自备 NAS,raid1
    Marfal
        13
    Marfal  
       2017-08-20 21:44:39 +08:00
    本地备份最靠谱
    lslqtz
        14
    lslqtz  
    OP
       2017-08-20 21:46:48 +08:00
    @citydog nas 对我没用...我硬盘全部挂在电脑上,并且并不是存储媒体文件等之类的
    而且 nas 相对于单独购置一个 htpc / 低配置机子 之类的来说成本太高
    myliyifei
        15
    myliyifei  
       2017-08-20 21:47:44 +08:00 via Android
    @wevsty glaicer
    lslqtz
        16
    lslqtz  
    OP
       2017-08-20 21:51:47 +08:00
    感觉硬盘 + HTPC / 低配置机子做 RAID 1 是最不错的解决方案...
    通过内网可以直接进行网络备份(除 C 盘),不需要临时存储的空间,千兆内网的速度也可以支撑机械所需的传输速率。
    不过并不方便,我的路由只有一个千兆 LAN 口,所以大概备份时得直连两台设备。
    mhycy
        17
    mhycy  
       2017-08-20 22:03:36 +08:00   ❤️ 1
    RAID1 是小钱,云备份是大钱
    配个 HTPC ?完全不需要,用 win10 的话直接 refs 双盘 raid1 就好
    wzw
        18
    wzw  
       2017-08-20 22:09:30 +08:00
    百度云 115 可以吗,这也算的话,便宜很多很多了.
    lslqtz
        19
    lslqtz  
    OP
       2017-08-20 23:13:14 +08:00
    @mhycy 挂硬盘,看着红不舒服。。
    kruskal
        20
    kruskal  
       2017-08-20 23:56:36 +08:00 via iPad
    要不是磁带机太贵,磁带也算一种选择
    hundan
        21
    hundan  
       2017-08-21 00:42:41 +08:00 via Android
    @lslqtz 其实公网流量这个可以变通一下,取出的时候去买个同地域的主机,内网取,就不花钱了,然后通过主机流量传出来
    hundan
        22
    hundan  
       2017-08-21 00:52:39 +08:00 via Android
    emmm...也不是说不花钱,得再买个服务器来着
    msg7086
        23
    msg7086  
       2017-08-21 03:08:57 +08:00   ❤️ 1
    "NAS 也是用的硬盘"

    震惊!云存储服务也是用的硬盘!
    lslqtz
        24
    lslqtz  
    OP
       2017-08-21 03:15:36 +08:00
    @msg7086 主要是因为云存储都有 RAID 堆着...
    lslqtz
        25
    lslqtz  
    OP
       2017-08-21 03:16:21 +08:00
    @hundan 这个也没法变动啊,耗时长还更贵...
    按流量的那些机子很多都没有这个服务吧,阿里云国际和国内内网不互通吧。
    msg7086
        26
    msg7086  
       2017-08-21 03:21:12 +08:00   ❤️ 3
    @lslqtz RAID 有啥用。
    RAID 卡不会挂么。
    RAID 下的硬盘不会一起挂么。
    云服务的硬盘被几千几万人艹,寿命不会比你自己家里一块偶尔用用的硬盘短么。

    真正重要的数据才需要这么高的可用性。
    如果你手里的数据都很重要,都很珍贵,还是考虑拿出一两千的预算吧。

    PS: 我还听说过家里组了盘阵结果被一只猫从顶上尿了个透的故事。
    hundan
        27
    hundan  
       2017-08-21 03:33:52 +08:00 via Android
    @lslqtz 如果是按带宽计费的话,耗时长的确是真的,更贵倒不见得。我是按照腾讯云来说的。
    RqPS6rhmP3Nyn3Tm
        28
    RqPS6rhmP3Nyn3Tm  
       2017-08-21 03:34:34 +08:00 via iPad   ❤️ 1
    我的 OneDrive 1T 根本没用过,存这种东西感觉很适合
    或者用对象存储,谷歌和亚马逊都有冷存储
    RqPS6rhmP3Nyn3Tm
        29
    RqPS6rhmP3Nyn3Tm  
       2017-08-21 03:35:35 +08:00 via iPad   ❤️ 1
    说实话,你这种需求买个 BackBlaze 最方便了
    ryd994
        30
    ryd994  
       2017-08-21 07:31:51 +08:00 via Android   ❤️ 1
    全盘备份也可以分卷啊
    dd offset
    lslqtz
        31
    lslqtz  
    OP
       2017-08-21 07:42:24 +08:00
    @hundan 我用 OSS 来说吧。
    1Mbps 跑起来按量好像 230,全速直接下是 250。。
    lslqtz
        32
    lslqtz  
    OP
       2017-08-21 07:42:55 +08:00
    @msg7086 我的妈...
    云存储 RAID 堆着总比我就两块好吧
    lslqtz
        33
    lslqtz  
    OP
       2017-08-21 07:43:30 +08:00
    @ryd994 分卷这个我知道...
    但分卷后还是找不到好的存储地方
    lslqtz
        34
    lslqtz  
    OP
       2017-08-21 07:46:32 +08:00
    @BXIA 好东西,谢谢推荐
    晚一点试试看
    qq1064392665
        35
    qq1064392665  
       2017-08-21 08:17:43 +08:00 via iPhone
    国外 gdrive 教育版,国内妖妖舞最大 115G 单文件
    sofs
        36
    sofs  
       2017-08-21 08:31:52 +08:00 via Android
    多个硬盘
    iceland
        37
    iceland  
       2017-08-21 09:28:28 +08:00
    FreeNAS + ZFS
    atan
        38
    atan  
       2017-08-21 09:33:00 +08:00
    Dropbox Plus 1T
    Famio
        39
    Famio  
       2017-08-21 09:51:39 +08:00
    楼主,我和你遇到一个同样的问题。
    我家自建了 NAS,2T 的数据,每天都会做热备,周期保留一周,一周做一次冷备,导出到另一块未上机的硬盘。
    好辛苦啊。。。
    SharkIng
        40
    SharkIng  
       2017-08-21 10:01:16 +08:00
    - 网盘弄不好哪天就不做了的风险
    - 大点的服务例如 S3 基本来说流量不可能不考虑在内,尤其是如果内容很多的话
    - 自己 NAS 还是比较靠谱的,而且速度也快,安全性来说还行,最次上个云端的冷存储备份一个也就够了
    autoxbc
        41
    autoxbc  
       2017-08-21 10:12:56 +08:00
    数据至少有两重备份,加原始版一共三份,才可称基本安全。

    这三份数据不可在同一区域,即异地容灾。

    我自己的方案是双移动硬盘+网盘。

    1. 当前项目热数据同步到坚果云;
    2. 主备 3T 移动硬盘放在家里,一个月做一次完整镜像,至少保存两个不同时期的副本;
    3. 次备 1T 移动硬盘放在别处,每三个月和主备同步一次。

    数据无价,选型不要考虑性价比。
    xmumiffy
        42
    xmumiffy  
       2017-08-21 10:34:14 +08:00
    GDrive 支持单文件 5 TiB,看你能不能接受这个价钱了(或者开 team 版,10 USD/mo,5 用户起步)
    ppwangs
        43
    ppwangs  
       2017-08-21 11:50:34 +08:00
    除了高清小电影,我想不到啥文件占这么大
    imn1
        44
    imn1  
       2017-08-21 11:53:00 +08:00
    不信自己信别人的典型例子

    说到底只是懒,自己不想做定期备份操作,交给别人做这事

    而已
    msg7086
        45
    msg7086  
       2017-08-21 12:51:31 +08:00   ❤️ 1
    @lslqtz 云存储比你本地靠谱的那些,价格也不便宜。
    GPU
        46
    GPU  
       2017-08-21 13:34:57 +08:00
    Drobo 专用与储存 没有群晖的各种乱七八糟功能, 缺点是贵 。

    并且 HTPC 如果不是用 RAID 卡而是用自带的主板 RAID 丢盘之后恢复就有点麻烦了。
    kaer
        47
    kaer  
       2017-08-21 13:43:56 +08:00
    存七牛吧,价格方便比 OSS 便宜点 又拍也行
    Leonn
        48
    Leonn  
       2017-08-21 16:23:03 +08:00
    同推荐 Google Drive,月付 10 刀就有 1T 了。
    使用 rclone 这个工具,可以实时同步、备份。
    lslqtz
        49
    lslqtz  
    OP
       2017-08-21 21:17:23 +08:00
    @imn1 说到底,不管用什么存储备份还是我自己做的吧。。
    @ppwangs 整个硬盘,大概 3 块...
    @SharkIng 网盘之类的有很多家,可以分着存...
    @GPU 用软 RAID 呢
    SharkIng
        50
    SharkIng  
       2017-08-22 03:54:47 +08:00
    @lslqtz #49 我个人不喜欢分着存,一个是需要很多帐号 (虽然我也基本上每个帐号都有)另外你电脑里需要装很多客户端。而且分着存没什么意义啊,如果要丢还是会丢一部分,最多就是说“不是全部丢了”罢了,但是你丢失的部分也许很重要呢?
    还不如两个网盘全部存完全一样的。我现在就主要用 Dropbox 和 Google Drive 存完全意义的东西,体验还行。家里有 NAS 存电影和大资源,我的网流量是要计费的所以还是存本地的好
    lslqtz
        51
    lslqtz  
    OP
       2017-08-22 06:58:16 +08:00
    @SharkIng 分着存的话更方便
    上传一会后,其它的部分分片已经上传好了,就可以让其它网盘开始离线下载了。
    SharkIng
        52
    SharkIng  
       2017-08-25 02:02:26 +08:00 via iPhone
    @lslqtz 理论可以但是实际不是,而且不是所有网盘都有离线下载的
    1265578519
        53
    1265578519  
       2017-09-09 23:29:03 +08:00   ❤️ 1
    百度 api 分片上传 最大支持 2TB 单文件
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2727 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 13:27 · PVG 21:27 · LAX 05:27 · JFK 08:27
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.