1
linhua 2019 年 5 月 22 日
puppeteer
|
2
leebx 2019 年 5 月 22 日
1. 很多 js 反爬 ,selenium 是解决不了的,大多需要剖析 js,执行 js 代码才能得到有效参数
2. 各种加密算法,url 中拼接的某些参数是底层算法搞出来的 |
3
linvaux 2019 年 5 月 22 日 via Android
脱裤啊
|
4
mytry 2019 年 5 月 22 日
JS 爬虫和 Python 有什么关系
|
5
tikazyq 2019 年 5 月 22 日
还有 puppeteer,也是调用 chrome 来执行 js,但是对用户比较友好。顺便介绍一下爬虫平台 Crawlab,兼容任何框架任何语言的爬虫平台,http://github.com/tikazyq/crawlab
|
6
dongya 2019 年 5 月 22 日
存在 js 反爬也有很多情况呀, 内容加密,token 生成啥的, 你的是哪种啊
|
7
lusi1990 2019 年 5 月 22 日 via Android
也有反 selenium 的
|
8
danmu17 2019 年 5 月 22 日
大部分的 js 反爬都可以通过 python 运行 js 来解决,
不过会提这种低质量的问题, 多半也不会这些基本的东西。 |
11
huaerxiela6 2019 年 5 月 25 日 via Android
cookie 加密一般来说相较与参数加密,更难找到入口点,需要很多的调试技巧,比如有时需要 hook,hook 不住的时候如何处理等等,我简书 https://www.jianshu.com/nb/14730171 的几个例子就是基于 nodejs 实现的,如何用 py 运行,只是一个调用方式的问题,不行的话还可以用 node 封装接口,重要的是如何模拟加 /解密
|