V2EX › vibbow 的所有回复 › 第 189 页 / 共 191 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 181 182 183 184 185 186 187 188 189 190 ... 191

❮

❯

2011-12-25 01:07:06 +08:00

回复了 dndx 创建的主题 › 信息安全 › 新查询系统上线，可查询所有泄漏网站共63999511条记录，全文搜索，支持正则，典型匹配时间在4秒以内，欢迎试用。

蛋疼了，我试着搜索了一个 "a"
然后5分钟没结果了...

2011-12-25 00:54:07 +08:00

这个数据库肯定只是部分，没中枪不代表没泄漏...

2011-12-25 00:52:05 +08:00

17173的网上不好下。你留个邮箱或者QQ，我发给你我服务器FTP地址，你自己挂吧。
服务器上传很慢，预计得挂四五个小时，400M

2011-12-25 00:32:50 +08:00

我也试过MySQL全文搜索。光csdn表的话，用我的算法是20多秒，用MySQL建立全文索引后是10秒。
可是尼玛8千多万条数据，建立全文索引估计都得一两天...

2011-12-25 00:29:48 +08:00

哦，对了。我是用PHP @ Windows做的，所以效率肯定比Linux下要慢。
不过你这个是挺快的。

2011-12-25 00:28:12 +08:00

不过很好奇你的算法。
我是把文件切割成200M，然后一个一个的以此读到内存里搜索指定的关键字。
全部搜索一遍得3分钟。

不知道你是怎么做到的那么快...

2011-12-25 00:23:50 +08:00

我的数据库里总共有 85359069 条数据...

2011-12-25 00:20:18 +08:00

@dndx 稍等我统计下我的总数....

2011-12-25 00:20:04 +08:00

@dndx 17173还有1.3G的数据

2011-12-25 00:17:21 +08:00

不是8千多W条么？

2011-12-24 21:29:12 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

@delectate 觉得这工具应该不适合我，因为我这是无差别的全文搜索...
要是去重的话那速度应该不比数据库建索引好到哪去...

2011-12-24 21:26:36 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

@delectate Windows服务器...

2011-12-24 21:09:21 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

蛋疼了。加上17173的数据，总共有8千多万条数据，我觉得没个两三天是建立不完索引的了...
算了，还是继续文本搜索吧...

2011-12-24 17:20:42 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

@liruqi 就我这服务器速度，再加上还限制了并发数量，想批量恶意查询还不如自己把数据库下下来快...
一般查询，随他们去了。

2011-12-24 16:31:02 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

好吧，貌似这样来速度也可以：
SELECT * FROM password WHERE keyword LIKE '%keyword1%' OR keyword LIKE '%keyword2%';

2011-12-24 16:19:16 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

可是建完全文索引后貌似不能同时查多个关键字了...
不可以用 SELECT * FROM password WHERE keyword LIKE IN ('%keyword1%', '%keyword2%);
或者有其他sql语句可以用？

2011-12-24 16:12:03 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

@liruqi MySQL建完全文索引是快了很多啊，我自己查询文本过一次需要23秒，mysql 11秒就搞定了。

2011-12-24 16:06:01 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

@laiwei sqlite索引不行啊，如果关键字是从中间开始查那么一点效果都没有啊。目前在缓慢的用mysql给csdn库加全文索引中...

2011-12-24 15:26:33 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

@liruqi 好吧，我先试试效率。不过先得把原来导入的csdn库从text类型转换成varchar类型...

2011-12-24 05:31:57 +08:00

回复了 vibbow 创建的主题 › 分享发现 › 密码泄漏搜索工具

继续优化了代码，全文搜索时间从4分多钟降到了2分钟，同时添加上了mop的库（虽然感觉这个库很奇怪，很假...）

1 ... 181 182 183 184 185 186 187 188 189 190 ... 191

❮

❯