安利一下一个叫 gnu parallel 的神器

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3030 天前的主题，其中的信息可能已经有所发展或是发生改变。

搜了一下，发现分享的不多啊。安利一下。

先黑一下~~哈哈
两核的 cpu

四核的

16 核的

并行效果：

grep 一个大文件，速度提高了 20 倍

详细请看： http://www.jianshu.com/p/c5a2369fa613

安利

Parallel

grep

gnu

16 条回复 • 2016-08-01 13:39:30 +08:00

pathbox

2016-07-31 14:04:57 +08:00

运维用这个还是挺好的

uyhyygyug1234

2016-07-31 14:07:44 +08:00 via Android

@pathbox 运维这种工具多，什么 fabric ， ansible 之类的。都并行的。

cuebyte

2016-07-31 14:09:30 +08:00

cool, despite it's a nagware. lol

ivmm

2016-07-31 14:17:43 +08:00

我还以为和 PD 有什么关联。

fcicq

2016-07-31 14:25:08 +08:00

time 的统计方法有问题, user cpu time 的计数不对. 另外这个 grep 应该换成 fgrep.

loading

2016-07-31 15:23:01 +08:00 via Android

四核…

h4lt

2016-07-31 15:37:15 +08:00

看了下楼主的这几篇文章，都挺不错呢。感谢。

uyhyygyug1234

2016-07-31 15:39:41 +08:00 via Android

@fcicq fgrep 的确在这个例子里要快点，因为就是找个子串

vibbow

2016-07-31 15:46:00 +08:00

四核的为什么会有 CPU4 混进来...

uyhyygyug1234

2016-07-31 15:59:55 +08:00 via Android

@vibbow 不要在意这些细节，哈哈。
@loading

2016-07-31 16:11:48 +08:00

@vibbow 这个亮点确实 666 啊

9hills

2016-07-31 17:26:35 +08:00

parallel 确实是运维神器，而且参数爆多功能十分强大

dudesun

2016-08-01 11:10:12 +08:00

其实就是 perl 写的 map reduce

uyhyygyug1234

2016-08-01 12:22:42 +08:00 via Android

@dudesun 是啊

21grams

2016-08-01 13:02:37 +08:00

perl 写的？有 python 版吗？

uyhyygyug1234

2016-08-01 13:39:30 +08:00 via Android

@21grams 木有，就是个工具，其实用啥写的无所谓，感觉重写一遍工作量不小啊

安利一下 一个叫 gnu parallel 的神器

安利一下一个叫 gnu parallel 的神器