V2EX › 15399905591 的所有回复 › 第 6 页 / 共 7 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7

❮

❯

2019-01-02 09:46:39 +08:00

回复了 Ewig 创建的主题 › Python › scrapy 中转换 utf-8 后说没有 xpath

response.xpath( '//td[@class="pming_black12 ms-rteTableOddCol-BlueTable_CHI"]/a/@href')

有什么问题???

2018-12-27 10:48:00 +08:00

回复了 whx20202 创建的主题 › Python › 请问一下 sqlalchemy 在乐观锁的时候，怎么知道自己更新了几行或者是否更新成功？

你的问题没描述清楚，你是需要加锁操作，每次只能有一个对象能够更新 Table ？

2018-12-26 17:03:23 +08:00

回复了 fan2006 创建的主题 › Python › 这个产品图片怎么爬下来？

应该是加了防盗链限制，只允许来源 mall.icbc.com.cn 域名的地址访问，你把在 header 中添加一个 referer 属性，标识来源的是该域名就可以了

2018-12-18 13:59:38 +08:00

回复了 changwei 创建的主题 › 问与答 › 为什么写爬虫都喜欢用 python？

python 的爬虫生态环境成熟，现有库非常多，不用重复造轮子，开发效率更高。而 python 对数据处理也是非常优势的，最接近人工智能的语言不是浪得虚名的。。

2018-12-06 17:05:30 +08:00

回复了 15399905591 创建的主题 › Python › 今日头条 APP 破解

@zhangslob669 你这个是 PC 端的数据，PC 端是没有点赞数量的。

2018-12-06 16:48:35 +08:00

回复了 15399905591 创建的主题 › Python › 今日头条 APP 破解

@echo1937 嘿嘿，只是私下学习，并未用作商用。

2018-12-06 16:48:00 +08:00

回复了 15399905591 创建的主题 › Python › 今日头条 APP 破解

@silencefent 有这本事，我就去阿里入职了。。。

2018-12-06 16:46:44 +08:00

回复了 15399905591 创建的主题 › Python › 今日头条 APP 破解

并不是破解，只是采集一些数据，这个数据接口使用了加密。。

2018-12-06 16:39:20 +08:00

回复了 15399905591 创建的主题 › Python › 今日头条 APP 破解

@A555 什么意思？？网警还管这个？

2018-12-06 16:26:56 +08:00

回复了 Ewig 创建的主题 › Python › 分布式爬虫如何一直从队列里面取数据，不间断

你们用的是什么消息组件呢？并且既然是队列，为什么会要不间断获取数据，你的任务执行期间是不需要阻塞的嘛?

2018-11-23 13:36:19 +08:00

回复了 moxiaowei 创建的主题 › Python › scrapy 在 parse 函数中，如何拿到另一个 Request 的结果

你可以把 parse 的 response 通过 meta 传递到 parseNext 中进行处理。

2018-11-22 18:10:48 +08:00

回复了 imdoge 创建的主题 › 问与答 › 今日头条的评论机制是怎样的，经常不显示

楼主这个问题解决了吗?

2018-08-07 16:02:27 +08:00

回复了 summer_charlie 创建的主题 › Python › Python 3.7 官方文档中文翻译召集

mark

2017-10-10 15:15:39 +08:00

回复了 aragakiiyui 创建的主题 › Python › 为什么使用了代理 ip 依然被封？

你用的代理是什么类型的？是高匿名的吗？如果不是高匿的，对方是可以获取到你的本机 IP 的

2017-09-12 15:47:03 +08:00

回复了 15399905591 创建的主题 › Python › 国外 http 代理库

@sunwei0325 注册了没发激活邮件就没用了。。

2017-09-07 10:17:39 +08:00

回复了 15399905591 创建的主题 › Python › 国外 http 代理库

@nazor 朋友，有国外的 IP 么~~

2017-09-07 10:08:23 +08:00

回复了 15399905591 创建的主题 › Python › 国外 http 代理库

@cuebyte 不要在意这么多细节，哈哈

2017-09-07 10:06:35 +08:00

回复了 15399905591 创建的主题 › Python › 国外 http 代理库

@xgfan 买账号肯定不行的，一个是抓取频率限制，且费用比买 IP 高多了。

2017-09-07 10:05:29 +08:00

回复了 15399905591 创建的主题 › Python › 国外 http 代理库

@xiaozuo 大部分主流国家都是需要的，具体费用可以去申请。

2017-09-07 10:04:53 +08:00

回复了 15399905591 创建的主题 › Python › 国外 http 代理库

@nazor 这个量会比较少，我们这边抓取量每天至少是百万级的，这个 IP 数完全不够用，且需要大部分主流国家的 IP。

1 2 3 4 5 6 7

❮

❯