V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  warcraft1236  ›  全部回复第 69 页 / 共 134 页
回复总数  2667
1 ... 65  66  67  68  69  70  71  72  73  74 ... 134  
2019-02-10 10:50:40 +08:00
回复了 warcraft1236 创建的主题 酷工作 想知道还能有加班不多的公司不
@T0DD 查了一下好像是个外企,有 JD 什么的吗?可惜我现在不在杭州
2019-02-09 21:54:56 +08:00
回复了 wbchen 创建的主题 职场话题 二本毕业生找实习难吗?
想问问你们普通学校怎么找到的实习呀,我当时二本刚毕业的时候,找工作极其困难
我是个测试,有 JD 不?
测试感觉完蛋了
2019-02-09 21:46:46 +08:00
回复了 warcraft1236 创建的主题 酷工作 想知道还能有加班不多的公司不
@joouis 我是测试,外企招的少
2019-02-08 21:20:45 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 怎么能主动关闭呢?
@XxxxD 简单说就是 我想在代码中的 if 条件真的时候,只执行 if 内的语句,剩下的这些都不执行,也就是说能不能有什么方法,让 if 里边的 yield scrapy.Request()这个都跑完然后关闭爬虫
2019-02-08 18:04:22 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 怎么能主动关闭呢?
求教求教
@warcraft1236 北京,打错了
可惜没有背景
2019-02-04 21:46:18 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我自己的是 200,但是感觉还是先走的系统的,重试了之后才走的我的,奇怪
2019-02-04 18:28:13 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我重新试了一下,我上边这段代码确实打印不出来 if retries <= retry_times: 判断里边的 log

重新看了一下,发现

```
INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
'New91Crawler.middlewares.CustomerRetryMiddleware',
'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
'scrapy.downloadermiddlewares.retry.RetryMiddleware',
'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
'scrapy.downloadermiddlewares.stats.DownloaderStats']

```

我自定义的 retry 和 Scrapy 自带的 retry 都加载了,理论上不应该用我的覆盖系统的吗?
2019-02-04 09:45:13 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 我发现,我爬取了一批视频,总是有几个下载报 403,然而我手动打开这个视频是正常的。 我有 headers 中 random UA 和 X-Forwarded-For,不知道是不是因为下载太多被封了
2019-02-04 09:38:29 +08:00
回复了 warcraft1236 创建的主题 Python Scrapy 的 RetryMiddleware 不生效,求教
@meik2333 if 里边的是 Scrapy 的代码,我没有改,但是经过你的提醒,我终于发现我确实看不到 log,因为我配置的 loglevel 是 warn,多谢
2019-02-03 23:33:24 +08:00
回复了 sagaxu 创建的主题 职场话题 年终奖很失望
什么公司呀,需要测试吗?
2019-02-02 15:57:46 +08:00
回复了 laboum92 创建的主题 职场话题 快 30 而立,第一次遇到这么大的职场打击
@insert000 我司招开发,你有意向不?
2019-01-30 10:02:55 +08:00
回复了 warcraft1236 创建的主题 Python 继承的父类的方法,我想修改部分逻辑,有什么好的方法吗
@zwzmzd 学习了,我去看看
1 ... 65  66  67  68  69  70  71  72  73  74 ... 134  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2441 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 92ms · UTC 07:00 · PVG 15:00 · LAX 23:00 · JFK 02:00
♥ Do have faith in what you're doing.