10 年前，我们管这种一次打开 5000 个网页的东西叫做恶意脚本，确实很适合在愚人节用。

好吧，原来是几个基金信息那里有猫腻，研究一下。

我试了一下 scrapy shell ，直接 view content 完全和网站一样啊。
20L 说的禁用 js ，我觉得这都是写爬虫的基本第一步了吧，肯定不能让爬虫取解析 js 。

说白了，我真不知道楼主碰到了什么问题。

随便输入一个字符,就开始实时搜索了，这算是我没注意到新功能还是愚人节作品？

Oops! Something went wrong:(

只玩了几个小时

可是我已经转投 mac

联通吧。
其实长宽我在用，没那么不堪， 10M 的带宽跑国外的话，部分服务器能到 300K/s ，如果挂个好的代理其实也可以。
毕竟电信的出口带宽现在也实在不怎么样，而且电信一条的价格够你拉一条联通＋一条长宽了，我这里联通 600 一年，长宽 500 一年，当时没注意小区有联通 600 一年的，后悔死了。

biqins-MBP:~ lifetyper$ sudo -H pip3 install lxml
Collecting lxml
Downloading lxml-3.6.0.tar.gz (3.7MB)
100% |████████████████████████████████| 3.7MB 208kB/s
Building wheels for collected packages: lxml
Running setup.py bdist_wheel for lxml ... done
Stored in directory: /var/root/Library/Caches/pip/wheels/7b/4f/28/81343ed95f4eb7c4ca2e944926f34636cbb087d0d3426f757f
Successfully built lxml
Installing collected packages: lxml
Successfully installed lxml-3.6.0
biqins-MBP:~ lifetyper$ python3
Python 3.5.1 (default, Jan 22 2016, 08:54:32)
[GCC 4.2.1 Compatible Apple LLVM 7.0.2 (clang-700.1.81)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import lxml
>>>
==============
没发现任何问题

打客服电话也是一样的感觉，非常客气，甚至在客服妹子连线他们自己的工程师的时候，他们二者之间的交互也非常亲切，给人感觉就很积极。

from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
from yourspider.spiders.index import YourSpider

settings=get_project_settings()
process = CrawlerProcess(settings)

process.crawl('spider_name')
process.start()

反正楼主看不到我就多说两句，不是大家有多讨厌优雅这两个字，而是写代码这东西到底什么算优雅什么算不优雅本身就是个没有标准的东西。不涉及到代码哲学而只是实现方法的话，更是很难摊上优雅不优雅。
楼主提出的这种简单至极的问题，就像 1+1=2 一样还去考虑什么优雅，那么首先你得先告诉我什么叫不优雅。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
简单点说，如果楼主是甲方，给你提出这个问题要求你优雅的解决，你 tm 不得跳起来问问他什么叫不优雅？ start urls 怎么就不优雅了？

@billgreen1 我怀疑你都没用过 scrapy ， scrapy 直接检查 response.status ＝＝ 404 就可以判断页面是否存在了，就算不检查， 404 错误根本不会爆 exception ， scrapy 自己就会跳过去了。

不要问我怎么知道的，我今天刚从一个网站爬了 9 万张图片，地址就是我用 range 猜测出来的，在办公室耗时 1.5 个小时爬完。

至于什么检查一下 baseurl 就可以知道有多少 page number ，如果人家网站有这种 API 给你当然最好，问题是我还没见过哪个网站对爬虫这么友好的，纯粹给服务器找虐啊。

至于你这段代码，你怎么知道 ID=n 不存在滞后， ID=n+1 就不存在了呢，这么早 break 真的好？而且这个 ID 范围与连续性的问题楼主在问题里并没有提出，完全是你担心的结果，楼主自己都说了它用 curl 都可以抓下来了。


＝＝＝＝＝＝＝＝＝＝＝＝＝

至于那些整天高调的喊着 block 掉谁谁谁的人，嗯，欢迎鸵鸟星难民。

楼主你先给我解释一下什么叫优雅？直接放一个 url_list 这么简单的东西怎么就不优雅了？放个屁都要考虑音高吗？

其实挺有用的，各基督教国老黄历用得上。

很多动态域名服务都是被墙的对象，而且可以说是我国最早一批被墙的；
为啥现在连域名转发都要实名制，原因你想想就知道了。

看样子 family 版本是要同步数据到他们官方服务器了啊

墙内本身就有点不靠谱，完全免费更是天生不靠谱。

让你做一个 1password 然后卖 3 块钱，你干吗？