V2EX › ranlele 的所有回复 › 第 1 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2020-06-08 13:57:03 +08:00

回复了 ranlele 创建的主题 › Django › Diango 版本选择问题

我看 3 支持异步功能，我觉得还是试一下吧。

2019-09-02 15:25:25 +08:00

回复了 rj2 创建的主题 › Python › 请教， Python 执行外部程序，并且获取外部程序的 pid

我今天也尝试了这个，当设置 shell=False 时，返回的 pid 为执行 shell 命令之后开启的进程的 pid。

2019-07-17 11:09:57 +08:00

回复了 ranlele 创建的主题 › Python › scrapy FilesPipeline 下载视频文件问题

scrapy FilesPipeline

2019-07-17 10:54:23 +08:00

回复了 ranlele 创建的主题 › Python › scrapy FilesPipeline 下载视频文件问题

python 下载视频文件，一般都是用什么工具啊。是用的 requests 吗。

2019-07-08 16:23:40 +08:00

回复了 ranlele 创建的主题 › Python › 爬虫遇到在浏览器中刷新三次页面才能打开的网站

@TypeErrorNone 我觉得，可能就是对这个 cookie 中的数值进行操作的。刷新三次，发送了好多个请求，我现在在模拟这些请求。

2019-07-08 16:10:29 +08:00

回复了 ranlele 创建的主题 › Python › 爬虫遇到在浏览器中刷新三次页面才能打开的网站

@holajamc 我再尝试一下，使用无头模式。

2019-07-08 15:39:55 +08:00

回复了 ranlele 创建的主题 › Python › 爬虫遇到在浏览器中刷新三次页面才能打开的网站

selenium 开无头模式就不行。不开无头模式可以使用 did 参数。 cookie 没有变化。

2019-07-08 15:29:01 +08:00

回复了 ranlele 创建的主题 › Python › 爬虫遇到在浏览器中刷新三次页面才能打开的网站

自己尝试的第一次访问，返回 did，第二次，第三次带着 did 使用 session 访问，依然获取不到数据。

2019-07-08 15:12:04 +08:00

回复了 ranlele 创建的主题 › Python › 爬虫遇到在浏览器中刷新三次页面才能打开的网站

这是快手的个人信息页面

2019-05-28 16:47:04 +08:00

回复了 ranlele 创建的主题 › 问与答 › selenium 爬取个人微博信息为什么会少几条。

大佬呢

2019-03-06 17:50:55 +08:00

回复了 lovezww2011 创建的主题 › Python › 使用 Scrapy 爬取股票代码

@Martzki wait 多等几秒试试

2019-03-06 17:48:10 +08:00

回复了 Oane 创建的主题 › Python › Python requests cookie 获取问题

post 登陆页面获取的 cookie，比使用浏览器登陆的 cookie 要少很多，带着 cookie 访问其他页面。但是依然登陆成功了。

2019-03-06 11:57:13 +08:00

回复了 Oane 创建的主题 › Python › 天猫爬虫封禁一个都不给我

@lhx2008 浏览器特征最主要做什么方面啊。

2019-01-24 16:46:04 +08:00

回复了 ranlele 创建的主题 › Python › scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

@15399905591 如果全部都超时了，只能重启系统吗？

2019-01-24 10:50:19 +08:00

回复了 ranlele 创建的主题 › Python › scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

@15399905591 这个频率大概是多少啊可以自己设置吗。

2019-01-24 08:49:43 +08:00

回复了 ranlele 创建的主题 › Python › scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

@15399905591 就是每一个 spider 都各自配一个 scrapy-splash 吗。假如各自都配一个还是连接超时的话。有没有办法让一个 spider 使用多个 scrapy-splash。在配置的时候不都是在 settings 里面加一个端口号么

2019-01-23 11:56:03 +08:00

回复了 ranlele 创建的主题 › Python › scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

@15399905591 有没有什么解决办法啊。

2019-01-21 19:21:59 +08:00

回复了 ranlele 创建的主题 › Python › scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

我爬取很多个不同网站，不只是一个网站。同时都是连接超时、

2019-01-21 16:43:13 +08:00

回复了 ranlele 创建的主题 › Python › scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

没大佬们遇到这种问题吗

2019-01-21 15:14:45 +08:00

回复了 ranlele 创建的主题 › Python › scrapy-splash 突然全部都连接超时。有哪位大佬遇见过这种情况

有大佬吗

1 2

❮

❯