V2EX › U87 的所有回复 › 第 5 页 / 共 5 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5

❮

❯

2018 年 6 月 25 日

回复了 linhanqiu 创建的主题 › Python › 做爬虫做久了感觉都要学学安全方面的东西了，比如接口破签， app 脱壳，唉。。。。。

@linhanqiu 爬虫使用代理时,公司提供了快代理收费接口,我这边直接拿到接口返回的那些 addres 和 port,然后做了个简单的判断,就是遍历拿到的代理 ip 列表访问个 http 的网站,返回 200 的我就取,然后就去实现我的爬虫(response = requests.get(url=url, headers=random.choice(self.headers), proxies=random.choice(proxy_list), timeout=10)),随机获取验证过的 ip,然后再请求.但是这样好像不行.都是这种报错 HTTPConnectionPool,请问前辈是哪里的问题

2018 年 6 月 24 日

回复了 linhanqiu 创建的主题 › Python › 做爬虫做久了感觉都要学学安全方面的东西了，比如接口破签， app 脱壳，唉。。。。。

@linhanqiu 兄弟，能问个东西吗

2018 年 6 月 19 日

回复了 U87 创建的主题 › 问与答 › Python 爬虫 ip 被封,公司给了个付费快代理接口,我先验证付费接口 ip 的可用性,然后拿来爬目标网站,还是出现

还是出现 requests.exceptions.ProxyError 难道是在验证和爬目标网站这时间之间 ip 失效了?

2018 年 4 月 26 日

回复了 U87 创建的主题 › 问与答 › Python 字典来算一个字符在一个段落出现的次数，出现了报错。实在没找到原因 QAQ

@whoami9894 谢谢我 sb 了

2018 年 4 月 24 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

@leopku 尼玛。。

2018 年 4 月 20 日

回复了 U87 创建的主题 › 问与答 › scrapy 某个参数是通 meta 传的，在 debug 的时候居然出现那个参数 = DOWNLOAD_TIMEOUT？

难道 meta 是浅拷贝，需要深拷贝？

2018 年 4 月 20 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

@F1024 谢谢现在解决了

2018 年 4 月 20 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

@ioven 好的，我自己研究下，谢啦，老哥，好人一生平安

2018 年 4 月 19 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

@animal 恩，为啥要小写

2018 年 4 月 19 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

@ioven 卧槽，老哥这是什么原理，为啥小写就行啊？

2018 年 4 月 19 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

url = ''''''
data = {"currPage":1, "typeId":30091, "pageSize":20}
r1 = requests.post(url=url, data=data).text
r = etree.HTML(r1)
max_count = r.xpath('//div[id="TestView_pageableDiv"]/@totalSize')
print(max_count)
我这样按理说是可以获取到的，到始终为空

2018 年 4 月 19 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

@animal 不对啊，报错了。。

2018 年 4 月 19 日

回复了 U87 创建的主题 › 问与答 › 原谅我这个伸手党

<div id="TestView_pageableDiv" class="m-pagination" style="font-family: 'Microsoft YaHei';" totalSize="19790" pageSize="20" currPage="2">

</div>
这个哈谢谢啦

2018 年 4 月 17 日

回复了 U87 创建的主题 › 问与答 › Python 中怎么把 unicode 的字符串转换转为列表啊

@DT27 是的，就是要去除引号，不然不好取值。。。

2018 年 4 月 17 日

回复了 U87 创建的主题 › 问与答 › Python 中怎么把 unicode 的字符串转换转为列表啊

您发的 JSON 是一个字符串,而不是对象,您需要转成 JSON 对象么? 我在 json 验证网站这个校验时，不是 json 啊。。，虽然也可以 json.loads 好奇怪。。

2018 年 4 月 17 日

回复了 U87 创建的主题 › 问与答 › Python 中怎么把 unicode 的字符串转换转为列表啊

eval （）不行的，后续会有报错：NameError: name ‘ null ’ is not defined

1 2 3 4 5

❮

❯