V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  shiny  ›  全部回复第 185 页 / 共 310 页
回复总数  6190
1 ... 181  182  183  184  185  186  187  188  189  190 ... 310  
@shiny 2014 年的策略现在可能过期了吧,我提供下当时的笔记吧:

一、现象分析
1. 如果没有完全模拟浏览器,会在访问数页之后进入 antispider 页面要求输入验证码
2. 复制当前浏览器 cookies 后,可以访问更多页数,但一段时间后还是会触发验证码
3. 清理该 cookies 后无需验证码又可以访问
4. 此系统属于搜狗平台化运维体系 http://wenku.baidu.com/view/1fa63e39b90d6c85ec3ac6c5.html

二、两处 cookies 注入点
1. 访问首页注入 cookie SUID 标识了一次会话
2. antispider 页面有两种类型,第一次触发时仅仅使用 javascript 注入 cookies SNUID ,表示此次访问的不是 spider ;第二次触发后显示验证码,但是只要重新访问首页获取新的 SUID ,就可以避免验证码识别或者更换 IP
3. 自行拼接参数发送请求,可能导致嫌疑程度增加
4. user-agent 含 spider/bot 的具有重大作案嫌疑,触发时直接返回 403

三、反屏蔽机制——尽量模拟浏览器
1. 涉及 cookies 注入的图片和网页都访问一遍
2. 使用 javascript 注入的 cookies 全部抓取一遍并 setCookie
3. 如果 antispider 页面( http://www.sogou.com/antispider/) 出现验证码,清理旧 cookies ,重新发起请求

EOF.
2014 年的时候分析过并绕过了搜狗的微信反爬虫规则,无需换 ip 就能大规模采集。
只是采集来的微信内容很多有非法信息,被网警找过一次。
2016 年 3 月 3 日
回复了 muyege 创建的主题 程序员 请问有人使用 phped 吗?
做了那么多年 PHP ,还是第一次听说这个编辑器。
想买,我可以帮你代付
2016 年 3 月 3 日
回复了 terro 创建的主题 站长 ICP 备案是主机备案还是域名备案?
@terro 你刚解析上去的域名还能正常访问的,但次数多了就会出现上面拦截那张图了。(按我前几年观察到的情况)
2016 年 3 月 3 日
回复了 terro 创建的主题 站长 ICP 备案是主机备案还是域名备案?
@terro 没有备案的域名无法放到国内主机上的 80 端口;备案是针对域名的。
2016 年 3 月 3 日
回复了 dbdd 创建的主题 奇思妙想 各位程序员,你们写日记吗?
小时候写过,老是被父母偷看所以后来再也不写了
2016 年 3 月 3 日
回复了 miracleyao 创建的主题 Java 关于个人支付开发的流程
去找朋友借公司资质吧
备案是备整个域名的
2016 年 3 月 2 日
回复了 lissome 创建的主题 VPS Vultr 网站更新了
一改版马上觉得物有所值了
2016 年 3 月 2 日
回复了 szopen 创建的主题 PHP 最近用 PHP 写爬虫,自我感觉速度效率还不错
爬虫爬太快不是作死么
2016 年 2 月 29 日
回复了 us 创建的主题 macOS [发码] New File Menu - Mac OS X 鼠标右键菜单新建文件神器!
很不错,感觉自己已经不需要 XtraFinder 了
2016 年 2 月 29 日
回复了 us 创建的主题 macOS [发码] New File Menu - Mac OS X 鼠标右键菜单新建文件神器!
7AX9AK9JAHA7 已用,感谢 lz
2016 年 2 月 27 日
回复了 Tony1ee 创建的主题 生活 某东凑单大家都用什么?
看看书单里哪本书还没买
2016 年 2 月 27 日
回复了 Strikeactor 创建的主题 分享发现 免费的 docker 容器运行服务,支持 TCP 监听
我的+86 号码能收到
2016 年 2 月 26 日
回复了 AlaudaCloud 创建的主题 Docker glibc 曝出重大漏洞,你的 Docker 镜像还安全吗?
这年头软文创作难啊,稍微写得不用心点就会被喷。
2016 年 2 月 25 日
回复了 vinsa 创建的主题 问与答 求超轻量级文件分享的小应用?
Samba 为啥不符合条件?
2016 年 2 月 24 日
回复了 Imivan 创建的主题 问与答 谁有京东白条借我买东西
讲个故事。
以前有同事借「信用卡借我分期下」的名义让我帮忙刷了一万的东西。因为有种不是花自己钱的错觉,所以很爽快就借了。
结果后来该同事因为到处借钱不还被单位辞退,从此人间蒸发。


其实借白条借信用卡和借现金本质上没啥两样,所以到社区里来求助是不妥当的。
2016 年 2 月 24 日
回复了 Imivan 创建的主题 问与答 谁有京东白条借我买东西
因为有打折?
2016 年 2 月 24 日
回复了 tntsec 创建的主题 互联网 [安全警告] 一键 php 开发环境暗藏杀机, phpstudy 一键包
而且这个问题在不当配置的 nginx + fpm 中都会出现
1 ... 181  182  183  184  185  186  187  188  189  190 ... 310  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   982 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 61ms · UTC 19:36 · PVG 03:36 · LAX 11:36 · JFK 14:36
♥ Do have faith in what you're doing.