推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
scrapy 抓一个页面的 PDF，并且把他们合并为一个，但是发现文件大小对的，但是里面的内容只有第一个 PDF 里面的，代码如下，求教大神。
Fuyu0gap · 2018-04-20 23:07:51 +08:00 · 1951 次点击这是一个创建于 2415 天前的主题，其中的信息可能已经有所发展或是发生改变。
代码如下：
-- coding: utf-8 --
import scrapy
class LinearSpider(scrapy.Spider): name = "linear" allowed_domains = ["ocw.mit.edu"] start_urls = ['https://ocw.mit.edu/courses/mathematics/18-06sc-linear-algebra-fall-2011/resource-index/']
def parse(self, response):
page_hrefs = response.xpath("*//tr//td/a/@href").re(".*sum.pdf")
for href in page_hrefs:
new_url = 'https://ocw.mit.edu' + href
print(new_url)
yield scrapy.Request(new_url,callback=self.parse_href)
def parse_href(self,response):
with open('linear.pdf','ab') as f:
f.write(response.body)
f.close()
 |
1
Fuyu0gap OP 分开下载页面里所有的 PDF 是可以的，以及这个 Markdown 显示不全怎么肥四……
|
 |
2
pc10201 2018-04-21 19:07:19 +08:00
with open('linear.pdf','ab') as f
pdf 不能这么简单的拼接吧，最好每一个分开下载，再用第三方工具整合在一起 |
Select Language