开发时遇到的搜索文件类的问题，顺序访问很慢，多线程访问会有不同进程读取同一个文件的问题……
xiandao7997 · 2015-01-12 11:46:09 +08:00 · 2670 次点击这是一个创建于 3601 天前的主题，其中的信息可能已经有所发展或是发生改变。
上班的时候遇到个问题。想了两个办法但效果不好，来求助下…
一个翻译的资源文件里有大概 1w 个 key，现在这些 key 里面有些不用了，需要找出来并删掉。我的想法是，先把这些 key 读到内存里，然后用文本搜索工具在代码文件中找这些 key，如果能找到，就把找到的结果写入一个文件，最后再分析这些结果文件即可。
现在的问题出在搜索部分，因为 key 很多，一个个顺序搜是很慢的，每个 5s 也要 5w 秒。只能多线程，每 100 个 key 一批， 多线程并行搜索， 实际操作过程中发现搜索工具经常会抛错， 同事说，可能是不同的搜索线程在访问同一个文件。 那么问题是， 顺序很慢，多线程又会有多个进程访问一个文件的异常。。。 我想不出还有什么更快的方法……v友们还有什么思路吗？
先谢了～
一个翻译的资源文件里有大概 1w 个 key，现在这些 key 里面有些不用了，需要找出来并删掉。我的想法是，先把这些 key 读到内存里，然后用文本搜索工具在代码文件中找这些 key，如果能找到，就把找到的结果写入一个文件，最后再分析这些结果文件即可。
现在的问题出在搜索部分，因为 key 很多，一个个顺序搜是很慢的，每个 5s 也要 5w 秒。只能多线程，每 100 个 key 一批， 多线程并行搜索， 实际操作过程中发现搜索工具经常会抛错， 同事说，可能是不同的搜索线程在访问同一个文件。 那么问题是， 顺序很慢，多线程又会有多个进程访问一个文件的异常。。。 我想不出还有什么更快的方法……v友们还有什么思路吗？
先谢了～
 |
1
choury 2015-01-12 12:46:17 +08:00 via Android
如果经常要搜的话为什么不排个序呢
|
 |
2
xiandao7997 OP @choury 排序是没有用的，
是把每个 key 在所有的代码文件里搜一遍，不是把 key 在 key list 里搜一遍 :) |
 |
3
ddaii 2015-01-12 12:59:37 +08:00
@xiandao7997 代码文件很大吗？何不把代码文件也一起载入内存？
|
 |
4
yfdyh000 2015-01-12 13:10:22 +08:00
读取应该可以非独占模式吧。能实现从文件中提取key吗，遍历一次就够了。为什么不用标准、通用的翻译格式呢，比如.po/.pot之类的。如果都不行，key就留着不行么，应该不太占地方。
|
|
5
xiandao7997 OP |
|
6
xiandao7997 OP @yfdyh000 读取文件的操作是由 搜索工具自己完成的，(非)独占模式我不能控制。。
|
|
7
ddaii 2015-01-12 16:03:09 +08:00
@xiandao7997 这么看来其实代码可能也就几十M，这其中可能还包括第三方库什么的，实际需要搜索的文件不会很多，自己写个小程序把代码读入内存，然后一个个搜索就行了。我觉得这样已经足够快了。
|
 |
8
ruoyu0088 2015-01-12 16:32:29 +08:00
|
Select Language