V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
mactaew
V2EX  ›  问与答

面临大量文件迁移工作,烦请大家推荐工具软件

  •  
  •   mactaew · 2020-09-13 10:40:58 +08:00 · 4507 次点击
    这是一个创建于 1531 天前的主题,其中的信息可能已经有所发展或是发生改变。

    随着工作年限增加,过去积累了很多工作文件,所以最近装了一台服务器跑 Esxi,让 Win10 (下称:vWin )和 NAS (下称:vNAS )系统运行在虚拟服务器上。

    计划如下:

    1. 将分散在本地的文件(大约有 2TB,存在大量几十 KB 的文稿或者表格一类的小文件)先全部拷贝到 vNAS 管理的数据盘上( RDM,容量为 3TB ),然后用 vWin 将这些散落的文件在统一的存储位置上按规则整理一遍;

    2. 完成整理后通过 vNAS 的同步工具将这些整理过后的文件同步全部到云端,作为归档库;

    3. 远期产生的结案工作,全部用统一的方式打包,然后传送到 vNAS 并自动同步到归档库中。

    那么,问题来了。

    在 “第 1 步” 会面临大量因为权限、报毒、文件损坏以及一些位置原因导致拷贝中止,但由于文件数量巨大,我自己都不知道那些文件拷贝失败了。

    所以希望向各位有经验的朋友们请教,是否有满足如下一项或者多项需求的工具软件可以推荐,收费或免费均可,for macOS 、for win 均可。

    感激不尽。

    主要需求:

    1. 有拷贝文件任务列表,拷贝出问题是跳过文件并保留错误记录;

    2. 支持拷贝到远程文件夹,例如 smb 、afp 、webdav 、ftp 等协议;

    3. 软件或系统异常关闭后,能保留再次恢复拷贝任务。

    以上,希望得到帮助,再次表示感激之情。

    推荐被采纳者,如有需要能力内愿意赠送 1 年 “世界很大,我想出去看看” 服务,以表感谢之情。

    29 条回复    2020-09-13 22:08:55 +08:00
    MakeItGreat
        1
    MakeItGreat  
       2020-09-13 10:50:30 +08:00 via Android   ❤️ 1
    我最近搞了一下这个东西
    我把小文件先挪到 Vhd 里面
    然后挪 Vhd
    完美!
    ebony0319
        2
    ebony0319  
       2020-09-13 10:53:10 +08:00 via Android   ❤️ 1
    这种一般自己写一个程序就 ok 。如果不急我过两天旅游完回来后可以替你写。
    ybbswc
        3
    ybbswc  
       2020-09-13 10:56:36 +08:00   ❤️ 1
    直接 ghost 全盘备份?
    delectate
        4
    delectate  
       2020-09-13 10:57:01 +08:00   ❤️ 1
    freefilesync 即可。
    delectate
        5
    delectate  
       2020-09-13 10:57:29 +08:00
    2020 年话有人提 ghost ?不是坏就是蠢。
    Jirajine
        6
    Jirajine  
       2020-09-13 11:10:16 +08:00 via Android   ❤️ 1
    那就起个 linux live cd,linux 下不会报毒且无视 ntfs 权限,然后直接 rsync 拷走或者打个 tarball 。
    hakono
        7
    hakono  
       2020-09-13 11:10:47 +08:00 via Android
    所以每次有人问大量小文件怎么存储的时候,总有人说规划好目录直接塞硬盘分区里,性能没问题,是真的没有管理过大量小文件的经历
    直接塞分区里,存储和读写是没问题,但是一旦想要迁移或者备份的时候,大量小文件直接塞硬盘分区里的行为将是一场噩梦
    Nadao
        8
    Nadao  
       2020-09-13 11:38:35 +08:00   ❤️ 1
    关于没法 COPY 出来的文件,很简单,我一般就 MOVE 的方法。 剩下的就是没有复制的了。
    Mithril
        9
    Mithril  
       2020-09-13 11:45:22 +08:00   ❤️ 2
    有个老东西叫 richcopy,一直用它复制大量文件。
    ailaodao
        10
    ailaodao  
       2020-09-13 12:23:14 +08:00   ❤️ 1
    teracopy 是专门拷贝大量小文件的,轻量速度快
    Raynard
        11
    Raynard  
       2020-09-13 12:26:57 +08:00   ❤️ 1
    第一步在 pe 下操作即可
    mactaew
        12
    mactaew  
    OP
       2020-09-13 12:30:36 +08:00
    @delectate 可能是个人适用的场景不太一样啦,能解决问题都是办法嘛,哈哈哈
    ybbswc
        13
    ybbswc  
       2020-09-13 12:33:41 +08:00
    @delectate #5 我是蠢,您多精啊。
    mactaew
        14
    mactaew  
    OP
       2020-09-13 12:35:05 +08:00
    @hakono 是的,合理的存储规划和归档标准太重要了,毕业以来做过三个行业,所以各种类型的文件都有,整理起来贼痛苦。所以现在也是两条腿走路,新增数据全部遵循自己最新一版的文件管理规范存放,原有的数据逐步迁移整理,最后全部准备本地阵列+云冗余。
    mactaew
        15
    mactaew  
    OP
       2020-09-13 12:38:02 +08:00
    @ybbswc Ghost 一定是有 Ghost 的应用场景的,毕竟这个主题也没有很详尽的场景描述。
    mactaew
        16
    mactaew  
    OP
       2020-09-13 12:41:09 +08:00
    非常感谢推荐 FreeSyncFile,RichCopy,TeraCopy 的朋友,我试一试那一款更适合我的场景!先送上一份铜币感谢,感谢各位慷慨分享。
    Shook
        17
    Shook  
       2020-09-13 12:58:47 +08:00   ❤️ 1
    我一般就是在 PE 里直接整盘复制
    mingl0280
        19
    mingl0280  
       2020-09-13 14:26:11 +08:00 via Android
    rsync 或者 robocopy,全盘克隆用 clonezilla 。除了 robocopy 是 Windows 专用其他两个都支持 ssh/smb/ftp
    nobody123
        20
    nobody123  
       2020-09-13 15:08:37 +08:00
    FastCopy 可以满足你的要求。
    jin7
        21
    jin7  
       2020-09-13 15:27:13 +08:00
    beyond compare 比开源的好
    imn1
        22
    imn1  
       2020-09-13 15:29:54 +08:00
    跨设备,ftp,时间充裕、不需要高速并发的话,就同步工具无人看守挺好的
    如果只是 win10 跨硬盘,FastCopy,记得去官网下载最新版 3.9,2.x 版能用,但感觉慢
    wtks1
        23
    wtks1  
       2020-09-13 15:55:54 +08:00 via Android
    如果用 freesyncfile,可以捐赠一个最小金额,获取多线程的版本
    ccmingchao
        24
    ccmingchao  
       2020-09-13 17:37:43 +08:00 via Android
    零碎的小文件,不管是谁家都比较慢。如果是基于归档的话。把小文件打成 ISO,以后用起来会稍微方便一点。
    xJogger
        25
    xJogger  
       2020-09-13 18:12:06 +08:00 via Android
    可以试试 GoodSync,满足 1 和 2 。
    小文件多的话,可以在 gs 里设置并行拷贝,速度会快很多。
    gamexg
        26
    gamexg  
       2020-09-13 18:51:03 +08:00 via Android
    rsync
    可以用 rsync 拷贝,也可以拷贝完用 rsync 核对一次。
    jianghu52
        27
    jianghu52  
       2020-09-13 20:16:57 +08:00
    beyond compare 就算了.不用试了.那是个文件比较工具,对于这种迁移小文件的动作,支持的不是很好.而且也很慢.
    luvcrashbot
        28
    luvcrashbot  
       2020-09-13 21:29:30 +08:00
    我以前用的 FasCopy 来跨硬盘传输数据。印象中好像是不支持网络直接传输的?如果合适的话楼主倒是可以试试。
    oubfgiar
        29
    oubfgiar  
       2020-09-13 22:08:55 +08:00 via iPhone
    我用 fastcopy,可以把要复制的文件夹保存为文本列表,即使死机崩溃了也可以用列表恢复任务。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2496 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 01:10 · PVG 09:10 · LAX 17:10 · JFK 20:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.