推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2413 天前的主题，其中的信息可能已经有所发展或是发生改变。
先放github 地址。
抓取方式：
-
-
模拟登陆微信公众号平台，借此获取需要爬取公众号文章的 url
-
通过
mitmproxy手机抓包，得到appmsgtoken和cookie，爬取文章的阅读数、点赞数及评论信息
-
-
不使用模拟登陆，用抓包工具获取相关参数后，直接抓取
有以下问题：
-
不知道如何使用
python在shell中显示获取到的二维码，目前使用的方式是用matplotlib和PIL显示。 -
获取微信公众号文章的时候，一次性不能爬取太多，一次最多貌似只能有 30、40 条。
-
API 设计上可能存在问题
以上，望大佬轻喷，提出意见
 |
1
magicO 2018-04-15 23:07:55 +08:00 via Android
反爬虫可以试试把包里的 agent 参数或者其他参数改变试试。如果是针对 ip 的话，那个人确实没啥办法。除非搞几台云服务器，(手动滑稽
|
 |
2
wnma3mz OP 针对 ip 还好说，微信公众号这边针对的是账号。。。。。
|
 |
3
xuyl 2018-04-16 10:15:19 +08:00
登陆公众号平台再抓，效率太低，还不是全自动化的，没人会用这种。
|
 |
5
pango 2018-04-16 10:37:40 +08:00
可以看看这个： https://github.com/lqqyt2423/wechat_spider
不过我没用过，据说很好用 |
 |
7
selector100 2018-05-07 18:50:08 +08:00
这样抓取效率不高，用万能 key 会高很多，但五月初微信还更新了万能 key 的一些细节，所以随时可能被封。有兴趣的看我知乎的回答好了： https://www.zhihu.com/question/26716409/answer/224332129
|
 |
8
wangluoshujupa 2019-06-27 15:50:32 +08:00
微信文章阅读点赞，评论，服务号、订阅号区分 +wx crawler888
|
Select Language