pzhdfy 最近的时间轴更新 pzhdfy 最近的时间轴更新
北京
pzhdfy
| 国区 icloud 2T+music 拼车（年/半年/季付）最后一个车位 拼车 • pzhdfy • 2025 年 5 月 13 日 |
| chrome 浏览 v2ex, 关闭从列表页点开的新标签页，结果同时关闭新标签页和列表页 问与答 • pzhdfy • 2024 年 12 月 2 日 |
| office 365 拼车 ,到期 2027/07/14, 一年 50，两年 80，最后一个车位 拼车 • pzhdfy • 2024 年 8 月 30 日 |
| office 365 拼车 ,到期 2027/07/14, 一年 50，两年 80 二手交易 • pzhdfy • 2024 年 8 月 28 日 |
| 国区 icloud 2T+music 拼车（年/半年/季付） iCloud • pzhdfy • 2023 年 10 月 12 日 • 最后回复来自 pzhdfy | 3 |
| office 365 拼车 40/人/年，到期 2022/07/14,可 1 年可 2 年 二手交易 • pzhdfy • 2020 年 7 月 16 日 • 最后回复来自 softliumin110 | 2 |
| [北京] 快手大数据架构团队急招（欢迎热衷技术，参与开源的小伙伴）
1 酷工作 • pzhdfy • 2019 年 10 月 30 日 • 最后回复来自 pzhdfy
|
4 |
| [北京] 快手大数据架构团队持续招人（欢迎热衷技术，开源的小伙伴） 酷工作 • pzhdfy • 2019 年 5 月 25 日 • 最后回复来自 ffbh | 35 |
pzhdfy 最近回复了
2024 年 2 月 18 日 回复了 FeifeiJin 创建的主题 › 程序员 › 超大型文件比较，内存不足，只能分页读区再匹配，但头都秃了，也没想到优化的方式，朋友们帮帮忙啊。 |
这不是大数据经典处理方法吗
将 PersonListA.csv 通过 name hash 拆分为 10 个，PersonListA_1.csv,PersonListA_2.csv...,PersonListA_10.csv （或者更多，每个文件能载入内存就行）
规则是每行数据通过 hash(name)%10 来确定放到哪个文件
将 PersonListB.csv 也是一样的原理，生成 PersonListB_1.csv,PersonListB_2.csv...,PersonListB_10.csv
这样 PersonListA_1.csv 只会根 PersonListB_1.csv 有相同 name 的数据，
所以只需要 10 组文件对比就行
将 PersonListA.csv 通过 name hash 拆分为 10 个，PersonListA_1.csv,PersonListA_2.csv...,PersonListA_10.csv （或者更多，每个文件能载入内存就行）
规则是每行数据通过 hash(name)%10 来确定放到哪个文件
将 PersonListB.csv 也是一样的原理，生成 PersonListB_1.csv,PersonListB_2.csv...,PersonListB_10.csv
这样 PersonListA_1.csv 只会根 PersonListB_1.csv 有相同 name 的数据，
所以只需要 10 组文件对比就行
2023 年 10 月 12 日 回复了 pzhdfy 创建的主题 › iCloud › 国区 icloud 2T+music 拼车（年/半年/季付） |
满了
Select Language