推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 1421 天前的主题，其中的信息可能已经有所发展或是发生改变。
然后发现 aiohttp 不走系统代理，但是 requests 是走系统代理的。 求问怎么设置可以让 aiohttp 走系统代理呢？
 |
1
locoz 2021-01-01 00:52:54 +08:00 via Android
这其实是个锻炼自己看代码解决问题能力的好机会，requests 的代码很简单明了，你找到它的做法照抄一份用在 aiohttp 上就行了，不难的。
你看你这在 v2 上问，过了差不多一个小时了也得不到答案…而你要是自己会看代码，分分钟就完事了。 |
 |
2
learningman 2021-01-01 01:01:18 +08:00
@locoz 要自己包装实现 CONNECT，好像也没那么简单。。。
|
|
3
locoz 2021-01-01 01:19:35 +08:00
@learningman #2 他这情况估计就是懒得设置代理而已，直接把读环境变量和注册表的那部分翻出来执行一下，然后传去填代理设置就好了。考虑复用的话就再简单封装个获取 session 对象的函数，不用搞那么复杂。（固定设备的话其实还有个邪道做法，直接用 Proxifier 让 Python 进程走代理...）
|
 |
4
so1n 2021-01-01 01:41:32 +08:00 via Android
写爬虫不用 aiohttp 可以省很多烦恼
|
 |
5
wangyanyansg 2021-01-01 11:26:42 +08:00 via iPhone
可以来我做的"技来技往 app”找个会爬虫的军师参谋来问问
|
 |
6
Liyiw 2021-01-01 11:29:12 +08:00
|
 |
7
abersheeran 2021-01-01 20:09:39 +08:00
@so1n 赞同，aiohttp 会有很多奇怪的问题。
|
 |
8
baobab 2021-01-01 20:26:55 +08:00
@abersheeran 赞同，而且异步爬一个站点太快很容易被封 ip，这个坑走下去没完没了了。
|
|
9
abersheeran 2021-01-01 21:26:45 +08:00  1
@baobab 控制不了速度是你的问题不是异步爬虫的问题。
|
|
10
baobab 2021-01-01 22:24:28 +08:00
@abersheeran 求大神教我怎么控制速度
|
 |
11
nyxsonsleep OP @Liyiw 我是知道怎么设置 aiohttp 和 requests 的代理，但我不想设。我只是想他默认走系统代理
|
|
12
nyxsonsleep OP @baobab 共用一个 session 可以设置参数控制连接数。另一个可以在 loop 循环中添加非异步 sleep 。
|
Select Language