推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2464 天前的主题，其中的信息可能已经有所发展或是发生改变。
刚自学 python 没多久，语法倒是学了个大概，苦于没有练手的机会，突然想到可以试着爬一些图片过来
试了下 bing 的首页图片，urllib 就可以很简单就下载到本地
然后想试一下漫画网站，试试能不能把整部漫画都下载到本地，现在遇到了几个问题，求前辈们帮忙解答一下
1.我爬的网站是 iimanhua ，想用 urllib 的方式获取，但发现页面的源码不含漫画图片的链接。搜索之后说是有些网站会通过异步 ajax 加载（以前没搞过前端，这块不是很懂）。网上说是可以用 selenium 库，调用 PhantomJS 命令行浏览器。browser=webdriver.PhantomJS()的方法去请求一个页面，现在倒是能把 browser.page_source 整个获取出来。想获取页数、图片地址，但不知道怎么获取特定的某个元素。如果用正则倒是也行，就是有点麻烦，因为看到有类似 browser.find_element_by_xxx 的方法，一些博客上的介绍不是很看得懂，不知道有没有简单的方法获取
2.browser.get(url)返回的特别慢。我用火狐去访问的时候发现其他所有东西都在几秒钟之内加载完成了，但唯独有一个 gif 图片是 0x0 大小的，需要加载 1 分多钟，域名还是 baidu 的。怀疑是这个网站针对爬虫有特定保护(?)，有没有办法把这个跳过
第 1 点的话大不了就用正则去处理整个 page_source ，写得复杂一点总是能获取到图片和总页数的，但第 2 点如果无法解决整个计划就失败了。。。
 |
1
kslr 2018-02-23 13:40:47 +08:00
Headless Chrome
0x0 是百度统计吧 |
 |
2
pkookp8 OP @kslr 问题不在于 PhantomJS 还是 Chrome，而是加载页面慢。不管是 python 版的 PhantomJS 还是界面版本的 firefox 都很慢，估计是慢在一个地方
|
|
4
pkookp8 OP |
 |
5
jackyzy823 2018-02-23 14:08:38 +08:00  2
页面里 var qTcms_S_m_murl_e= 的值用 base64 解一下你就能看见你想要的东西了。
|
|
6
pkookp8 OP @jackyzy823 厉害呀，我一开始看到这串就直接忽略了。。。。。这样连总页数什么的解析操作都不需要了
|
|
7
kslr 2018-02-23 14:18:27 +08:00 1
@pkookp8 #4 你把 qTcms_S_m_murl_e 用 base64 解码就是图片地址，页码可以用$qingtiandy$切割
|
 |
8
Ginson 2018-02-23 14:51:24 +08:00
第二个问题也许能通过配置 chrome_option 解决，设置 block 掉百度那个域名。
可参考： http://blog.csdn.net/zwq912318834/article/details/78933910 https://sites.google.com/a/chromium.org/chromedriver/capabilities 但是我找了很久没找到 block domain 要怎么配置 ×D |
 |
12
Hzzone 2018-02-23 23:29:44 +08:00
获得页面之后用 beautifulsoup、lxml 之类的来解析，不一定要正则
先禁止加载图片，获得 URL 之后把你要的图片下载下来 其实最好的办法是执行 js(pyexecjs)要快得多 |
 |
13
liyanbo 2018-02-26 15:36:37 +08:00
selenium 会很慢很慢
|
Select Language