r150r 最近的时间轴更新 r150r 最近的时间轴更新 |
r150rV2EX 第 488837 号会员，加入于 2020-05-11 10:41:23 +08:00 |
| 请教 Python 多线程内存不释放怎么排查 Python • r150r • 2020 年 10 月 12 日 • 最后回复来自 nisonGe | 25 |
r150r 最近回复了
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
python 标记变量为垃圾而不释放有什么条件吗？
如果把代码里的 session.get 替换成 str = ' ' * (500 * 1024 * 1024)，使用的内存会马上就归还给系统，是 requests 的问题吗
如果把代码里的 session.get 替换成 str = ' ' * (500 * 1024 * 1024)，使用的内存会马上就归还给系统，是 requests 的问题吗
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
@chenqh 之前试过 multiprocessing.dummy 也不释放
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
@wangritian 只保持 50 个线程 get 一个相同链接，内存使用量却跟随任务数量无止尽增长，请问这是没有被标记为垃圾，所以无法回收吗？
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
已更新可以复现问题的最小化代码
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
@noobsheldon 目前是把 mainfunc 放入子进程，分段每 100000 个任务执行 1 次
可目标站的 tid 越高，需要解析的资源就越多，每 100000 个任务需要的内存也就越来越高。
现在 100000 个任务要 26GB 内存了，只能手动调整任务数
可目标站的 tid 越高，需要解析的资源就越多，每 100000 个任务需要的内存也就越来越高。
现在 100000 个任务要 26GB 内存了，只能手动调整任务数
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
@superrichman 没有使用 beautiful soup
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
@Hstar 谢谢解答！改成 requests.pop()后打印 tr.print_diff()，list 和 dict 明显少了。不过 htop 显示 1.5G 内存还是没释放，除非这个 mainfunc 结束，看来是 childfunc 的问题。
2020 年 10 月 7 日 回复了 r150r 创建的主题 › Python › 请教 Python 多线程内存不释放怎么排查 |
@scriptB0y 所有的函数都有 return 了
Select Language