tslearn 最近的时间轴更新 tslearn 最近的时间轴更新 |
tslearnV2EX 第 470476 号会员，加入于 2020-02-20 00:09:43 +08:00 |
tslearn 最近回复了
262 天前 回复了 FeifeiJin 创建的主题 › 程序员 › 超大型文件比较，内存不足，只能分页读区再匹配，但头都秃了，也没想到优化的方式，朋友们帮帮忙啊。 |
看看这种方法行不 （假设 Name 支持任意字符）
将文件分片
1 ） 选取一个质数作为分片的值 （例如 977 ）
2 ） 将 A 文件和 B 文件分片， 要保证相同的名字在相同的分片号， 且分片尽可能均匀
我帮你想到的一个合理的办法： 取 Name 的 UTF8 。 如果 UTF8 长度不能被 4 整除，则添 0 将数组长度补成 4 的倍数。
每四个字节映射为一个 int32 类型， 然后把这些 int32 加起来。 然后%977 （一个比较大的指数）。 这样会得到 0-966 中的一个值。
3 ） 你的问题化简成了在分片内的问题 （因为相同的名字对应相同的分片）
将文件分片
1 ） 选取一个质数作为分片的值 （例如 977 ）
2 ） 将 A 文件和 B 文件分片， 要保证相同的名字在相同的分片号， 且分片尽可能均匀
我帮你想到的一个合理的办法： 取 Name 的 UTF8 。 如果 UTF8 长度不能被 4 整除，则添 0 将数组长度补成 4 的倍数。
每四个字节映射为一个 int32 类型， 然后把这些 int32 加起来。 然后%977 （一个比较大的指数）。 这样会得到 0-966 中的一个值。
3 ） 你的问题化简成了在分片内的问题 （因为相同的名字对应相同的分片）
Select Language