推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
请教一下系统中的 计算量大且耗时久 的模块如何优化的问题？& uwsgi 优化
yellowmarlboro · 2020-12-01 18:15:47 +08:00 · 1152 次点击这是一个创建于 1455 天前的主题，其中的信息可能已经有所发展或是发生改变。
-
系统有三个部分 A > B > C
- A 拉多个数据，数据之间有依赖，例如数据 1 会和数据 2 做简单计算，这里用了类似有向无环图的思想，请求异步，速度可以接受，消耗资源当然不大。
- B 对 A 的数据结果做计算，这里计算的不同在于，这些计算模块大多为 pandas 和 sklearn 的操作，其他部门同学封装好的包，B 部分会占用极大的 cpu 资源，而且相当耗时。
- C 类似于 A，需要 B 的结果，然后简单计算。
-
A，B，C 是三个不同的服务（其实 C 在这里不太重要了）。最近请求量增多，今天 B 的其中一台机器扛不住几乎要挂，不过请求分布是有明显高峰期的，低峰就没问什么问题。另外，B 就是一个个的数据处理分别调用，没有其他的复杂逻辑，生产是 nginx+uwsgi+flask 。
-
之前没有接触过这种结构的项目，也没有什么架构经验，所以问题可能比较 easy~
Q1 这种架构上有没有其他更好的的方式？（舍弃及时性，正常运行即可，比如给 B 加个队列，高峰期大不了算慢一点，低峰期慢慢消化类似的？）
Q2 对于这种计算密集型有没有什么通用可优化方法？比如在 uwsgi 上？或者其他方面的？（ uwsgi 自己从文档里找到用的提升都不大...）
 |
1
Aliencn 2020-12-01 18:51:22 +08:00
A1:
celery 做异步处理 如果高峰期也想加快处理的话，利用云计算的弹性，临时起一堆服务器实例作为 work 加入。 A2: 这个要看具体需求了。 比如一般脚本语言效率低，不适合做密集计算型的任务 还有就是换一些更适合做大数据计算的框架，比如 hadoop |
Select Language