怎么区分 io 密集型还是 cpu 密集型

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 1807 天前的主题，其中的信息可能已经有所发展或是发生改变。

io 密集型用多线程，cpu 密集型用多进程，怎么区分是什么型？
处理大影像，单进程内存占用 3g 多，cpu10%左右，想批处理，算什么型？

密集型

CPU

怎么区

进程

11 条回复 • 2019-11-30 23:39:16 +08:00

maichael

2019-11-29 13:59:03 +08:00

不就看你是计算多还是 IO 多么。你这种一般算是 IO 密集型。

ruandao

2019-11-29 13:59:33 +08:00

web 大多没什么计算，比较偏向 IO

unixeno

2019-11-29 15:14:37 +08:00 via Android

大量网络，文件操作就是 io 密集型
大量纯计算就是 CPU 密集型

wuwukai007

2019-11-29 15:15:25 +08:00 via Android

用 pysnooper 分析下下耗时的分布，

andylsr

2019-11-29 15:17:07 +08:00

处理影像应该算计算密集吧

waterlaw

2019-11-29 16:02:48 +08:00 via Android

cpu 密集型：cpu 占用越接近 100%, 耗费多个核或多台机器
io: 网络占用，文件 io 多

waterlaw

2019-11-29 16:04:42 +08:00 via Android

图片处理应该计算密集型，有 io 的话也可能有 io 密集型，因此可以考虑多进程 + 多线程

zhoucan007

2019-11-29 16:16:01 +08:00

图像处理是两个都占了，对读写和计算都要求比较高。非要强行对比的话，可以这么理解，是要足够大的内存（读写速度）还是足够大的算力？算力可能更重要吧。

tt67wq

2019-11-29 16:16:57 +08:00

htop 看看不就知道了

imn1

2019-11-29 16:18:59 +08:00

你这个要具体分析一下，cpu10%不一定就不是计算密集，如果数据缓存加大，cpu 大幅飙升的话，很可能是 cpu 密集
最好查一下瓶颈在哪

shuaili19870320

2019-11-30 23:39:16 +08:00

这两个概念是可以同时存在的，又不互斥。
大视频渲染有可能是多段同时计算同时写入吧，前面那个说的对，可能两个都沾了。