推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 1122 天前的主题，其中的信息可能已经有所发展或是发生改变。
机器学习炼丹过程中，图片预处理速度完全跟不上训练速度。看了下电脑 cpu 和内存，才占用 20%不到，有啥办法提升下吗
伪代码
im = openImg("xxxx.png") # 已经确定这里不是瓶颈，磁盘 io 没问题
im=dosome(im) # 图片预处理（主要是裁剪，缩放，修改格式等待），使用 pillow 库 ，目前瓶颈在这里
data = nnumpy.array(im) # 转成数组
# 提交 TensorFlow 炼丹
想问下，dosome 那一步有什么办法并发吗？
 |
1
fgwmlhdkkkw 2021-10-29 17:51:58 +08:00
你都说了多线程呀。虽然有 GIL ，但是依然会有提升的。
|
|
2
fgwmlhdkkkw 2021-10-29 17:52:40 +08:00
也可以开多个进程，每个进程负责一部分图片。
|
 |
3
imycc 2021-10-31 06:06:42 +08:00
IO 多的可以用多线程，计算多的用多进程，去看下 multiprocessing 这个库咯
|
Select Language