这是一个创建于 3274 天前的主题，其中的信息可能已经有所发展或是发生改变。
拿到一个文本文件，大小 20G 左右，虽然可以用 WinHex 查找，但是每次查不到一半就很卡（内存占用飙升），而且考虑到以后偶尔还会查询，所以想存入数据库。我打算用 Python 写个脚本批量导入 Mysql ，做索引，字段也不多。不知是否可行？或有其它更好的办法？
PS. 笔记本只有 4G 内存。
PS. 笔记本只有 4G 内存。
 |
1
gamexg 2015-12-13 14:23:51 +08:00
能说清楚查询的类型吗？
数字、时间之类的能做索引，纯文本开头匹配也能做索引。 但是要是纯文本内部包含关键字那你需要全文搜索。 |
 |
2
xufang 2015-12-13 14:29:08 +08:00
呵呵，社工库，还是用 sqlserver 吧，傻瓜并且性能也够。
|
 |
3
uuspider 2015-12-13 14:34:12 +08:00
sed awk 应该可以胜任。
|
|
6
xufang 2015-12-13 15:07:59 +08:00 via Android
@joshz cygwin 的 io 性能呵呵。真要用 sed 和 awk 别用 cygwin 或 msys 封装过的，应该用 gnuwun32 那一类的。
|
|
7
xufang 2015-12-13 15:11:01 +08:00 via Android
说个笑话，我厂不止一个人反应在 cygwin 编译比放在 linux 虚拟机下用 mingw 编译还要慢了。
|
 |
9
Valyrian 2015-12-13 16:17:47 +08:00
难道不是 cat xxx.txt | grep xxx ？
|
 |
11
msg7086 2015-12-13 16:46:16 +08:00
|
 |
12
Rubin 2015-12-13 17:47:44 +08:00
为什么不是先把这个 20G 的文本做切分呢，然后再 Python 写脚本处理不就简单多了么。
|
Select Language