V2EX › letking 的所有回复 › 第 8 页 / 共 9 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9

❮

❯

2020 年 3 月 31 日

回复了 PhpBestRubbish 创建的主题 › 程序员 › 年前谈好的涨薪 2000 年后涨薪 500

这种时候还是大公司稳定些……
对字节跳动感兴趣的可以找我内推，有大量岗位招聘，可以帮查进度。微信 YmxpbmRzcWxp

2020 年 3 月 30 日

回复了 cybermonster 创建的主题 › 动物之森 › 动森发布了一周多了，你们来谈谈到底有什么吸引你的地方

说不好玩的在你眼里就是真心话，说好的你各种挑刺，让你自己体验你又一大堆理由，真他妈绝了。

2020 年 3 月 20 日

回复了 hsluoyz 创建的主题 › 酷工作 › [实习] [微软亚洲研究院] 基于机器学习的爬虫检测实习生

请问有正式职位的招聘吗

2020 年 3 月 2 日

回复了 EEEcho 创建的主题 › 问与答 › 房贷利率重签，大家打算选哪种？

@XiaoxiaoPu 我还真以为国家看上了每个人的“三瓜俩枣”了，他看不上的话，不如免收工薪阶层的个税？

2020 年 3 月 1 日

回复了 revival83 创建的主题 › 问与答 › 老爸胃癌晚期除了陪伴还能做什么呢？

@sinkdwt 说了下不了床

2020 年 3 月 1 日

回复了 asilin 创建的主题 › 程序员 › 最近自底向上学习网络模型，看到 TCP 层经常有人提到"粘包"，我笑了

这 tm 都是月经贴了吧？
不讨论楼主自身水平如何、做法对不对，反正如今还在维护“粘包”这个说法的都是傻 B，欢迎互 B。

2019 年 11 月 28 日

回复了 swordart0000 创建的主题 › 问与答 › 22 岁大学马上毕业，父母突然告诉我他们要有二胎了要怎么应对

@cmdOptionKana 键盘侠真是站着说话不腰疼啊，站在道德高地上指责别人是最简单的，漂亮话谁不会说？
试想你的父母跟你没有任何沟通的情况下，就通知你说他们有二胎了，你能接受？
冠冕堂皇地说父母的决定和自己没有关系，显得自己好像很独立，但只要是血亲，怎么可能没关系？父母后半生的赡养，未来这个孩子的抚养，都是和你的关系。
你说没关系，那你自己的娶妻生子、在哪定居买房等人生大事，也都不用和父母商量吗？你看看父母会同意吗？那时候你再去和父母讲讲你这些大道理？

2019 年 11 月 12 日

回复了 pcbl 创建的主题 › 推广 › 踢楼抽奖给大家稍微回点血，送 50X5 京东 E 卡

这个抽奖够透明公开👍

2019 年 10 月 22 日

回复了 HeavenlyChorus 创建的主题 › Ubuntu › Linux 下如何添加 open with code(VSCode)到 context menu？

linux 没有统一的文件管理器，每种文件管理器添加 context menu 的方法都不一样，还是别折腾了…

2019 年 9 月 17 日

回复了 dazhangpan 创建的主题 › 程序员 › 在担心自己会遭遇中年危机之前请先问一下自己这些问题

总结:您配吗？

2019 年 9 月 2 日

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

@corefx 好好看看楼主的问题？

2019 年 9 月 2 日

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

@allenloong mysql 应该就可以。
spark 之所以这么搞不行是因为 spark 是把所有数据都加载的内存里处理的，而数据库是把数据存磁盘的。
如果你有 hadoop 集群的话可以用 spark 这么做。

2019 年 9 月 2 日

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

@allenloong 依次导入每个文件为一张表，然后 join 导入的表，保存成中间表。跟你现在的流程一样。

2019 年 9 月 2 日

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

@allenloong spark 惰性运行的，合并操作可能没有立即执行而是在写结果的时候才执行。
你这问题可能是合并时内存就不够。

2019 年 9 月 2 日

回复了 allenloong 创建的主题 › Python › 新人提问：快速 merge 大量 csv 文件

用 saveAsTextFile 保存到 hdfs 文件夹(yarn 集群)或者本地文件夹(local 模式)，然后直接 cat 把文件夹下所有文件写入一个文件就行了(要去除表头行)。
或者用 toLocalIterator 方法，把数据都收集到 driver 上然后写入到一个文件里。

2019 年 8 月 21 日

回复了 dwadewyp 创建的主题 › Python › celery worker 并发和多 worker 怎么理解？

比如 gunicorn 的-w 10 -k sync 和 celery 的-c 10 -P prefork 是等价的，都是创建 10 个进程去做并发，并发度最高就是 10。

再例如 celery 的-c 10 -P gevent 表示创建 10 个 gevent 协程去做并发，最高并发度也是 10。而 gunicorn 的-w 10 -k gevent，表示的是创建 10 个进程，且每个进程都是 gevent 异步的，这个并发度就很高了。

2019 年 8 月 21 日

回复了 dwadewyp 创建的主题 › Python › celery worker 并发和多 worker 怎么理解？

@dwadewyp
celery 里面的-c 参数指定的是并发度，而-P 参数指定并发的实现方式，有 prefork (default)、eventlet、gevent 等，prefork 就是多进程的方式去实现并发。
你理解的多 worker 对应到多个进程，每个 worker （进程）自己内部还能并发是 gunicorn 的方式。gunicorn 的-w 参数指定有几个 worker （即几个进程），-k 参数指定每个 worker 的并发方式，可以是多线程或者多协程，也可以指定为 sync，表示 worker 是同步的，即不能并发。

1 2 3 4 5 6 7 8 9

❮

❯