V2EX › letking 的所有回复 › 第 8 页 / 共 8 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8

❮

❯

2019-09-02 18:07:04 +08:00

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

@allenloong mysql 应该就可以。
spark 之所以这么搞不行是因为 spark 是把所有数据都加载的内存里处理的，而数据库是把数据存磁盘的。
如果你有 hadoop 集群的话可以用 spark 这么做。

2019-09-02 17:58:49 +08:00

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

@allenloong 依次导入每个文件为一张表，然后 join 导入的表，保存成中间表。跟你现在的流程一样。

2019-09-02 17:40:40 +08:00

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

@allenloong spark 惰性运行的，合并操作可能没有立即执行而是在写结果的时候才执行。
你这问题可能是合并时内存就不够。

2019-09-02 16:45:58 +08:00

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

用 saveAsTextFile 保存到 hdfs 文件夹(yarn 集群)或者本地文件夹(local 模式)，然后直接 cat 把文件夹下所有文件写入一个文件就行了(要去除表头行)。
或者用 toLocalIterator 方法，把数据都收集到 driver 上然后写入到一个文件里。

2019-08-21 22:23:17 +08:00

回复了 dwadewyp 创建的主题 › Python › celery worker 并发和多 worker 怎么理解？

比如 gunicorn 的-w 10 -k sync 和 celery 的-c 10 -P prefork 是等价的，都是创建 10 个进程去做并发，并发度最高就是 10。

再例如 celery 的-c 10 -P gevent 表示创建 10 个 gevent 协程去做并发，最高并发度也是 10。而 gunicorn 的-w 10 -k gevent，表示的是创建 10 个进程，且每个进程都是 gevent 异步的，这个并发度就很高了。

2019-08-21 22:11:57 +08:00

回复了 dwadewyp 创建的主题 › Python › celery worker 并发和多 worker 怎么理解？

@dwadewyp
celery 里面的-c 参数指定的是并发度，而-P 参数指定并发的实现方式，有 prefork (default)、eventlet、gevent 等，prefork 就是多进程的方式去实现并发。
你理解的多 worker 对应到多个进程，每个 worker （进程）自己内部还能并发是 gunicorn 的方式。gunicorn 的-w 参数指定有几个 worker （即几个进程），-k 参数指定每个 worker 的并发方式，可以是多线程或者多协程，也可以指定为 sync，表示 worker 是同步的，即不能并发。

2019-08-21 10:46:02 +08:00

回复了 dwadewyp 创建的主题 › Python › celery worker 并发和多 worker 怎么理解？

celery 没有单 worker 的并发吧，它的并发就是靠多 worker 实现的。
gunicorn 是多 worker，且单 worker 可以并发的。

2015-08-30 10:16:43 +08:00

回复了 blooddrunk 创建的主题 › 职场话题 › 准备离职了，但是手里的 offer 收入还不如目前的公司

家人会是比较大的阻力吧，老一辈的人都希望“稳定”

1 2 3 4 5 6 7 8

❮

❯