V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  Mystery0  ›  全部回复第 4 页 / 共 23 页
回复总数  448
1  2  3  4  5  6  7  8  9  10 ... 23  
@tomatocici2333 #21 如果是深信服拦截并处理的,返回的就不是 html 了,因为深信服不知道正方的 html 有什么东西。因此,如果是深信服检测并拦截了,那也只能是将检测结果给业务系统也就是正方,让正方来报错返回正方的 html
@for1shot 这种封堵一般会和业务系统绑定吗?
我在浏览器上测试的时候,看到的报错信息并不是直接返回的文本,而是整个 html ,html 渲染完成之后会在登录对话框中显示错误信息
如果是深信服的封堵,应该直接中断连接或者直接返回 text/plain 的数据(就是网页上几个大字),不会返回 html 数据,除非深信服识别之后将情况告知了业务系统 A 也就是正方,然后正方针对深信服告知的结果做了专门的错误信息处理。

写出来这些感觉可能性不强……
正方确实是很多高校使用的教务系统,校园网对外访问也是使用深信服的产品( easyconnect 、atrust 等),不过也说不好,也许上面有要求正方和深信服一起解决掉所有高校的爬虫问题?
@tomatocici2333 有账号,今晚我测试一下 A 的风控,看看是不是 A 的限制
@defunct9 #11 这算是一个可能的原因。如果是这样的话,我这爬虫的寿命相当于是终结了

不过业务系统 A 是个外包,应该不会专门做这种吧

明说了吧,业务系统 A 就是 正方教务系统 https://i.imgur.com/NIvxivj.png
@proxytoworld #8 这需要改一下代码,让来自用户的请求先临时停下来,然后再把 cookie 从 B 里面抓出来拿到 Windows 云服务器去访问测试

改动比较大,后面如果还是没有进展也只能试试了

不过说起来,我观察了浏览器上访问业务系统 A 时的请求,它的 Cookie 有刷新的情况,正常先加载 Html ,此时服务端 set 一个 cookie ,然后浏览器开始加载 js 、img 等资源,在这些加载过程中依旧会随机的 set 一个新的 cookie ,从观察情况来看,没有什么规律,也不确定为什么业务系统 A 要 set 一个新的 cookie
@zjsxwc 接触不到 A ,要爬它就是因为改不了动不了它呀 https://i.imgur.com/NIvxivj.png
@kkk9 参数应该是一样的,代理服务器 B 和业务服务 C 都是代码来发的请求,没有道理不一样
Windows 云服务器上的 Edge 浏览器在多次测试过程中使用的都是同一个账号和密码,也没有换浏览器,请求成功和失败的时候参数也应该是一样的

这个东西给我的感觉就像是:我用 Edge 刚刚获取到的 Cookie ,还没开始走到登录接口呢,就突然被什么东西给拿去用了(例如刷新验证码,或者登录其他账号了),等 Edge 走到登录接口了,Cookie 就有问题了
@proxytoworld 对,这也是我十分奇怪的点,按理说不管是不是深信服,VPN 都不应该会“篡改”请求的,但是除了 Atrust 之外,就没有地方可以怀疑了,除非是业务系统 A 改东西了。
因为我在服务器上单独测试过浏览器访问业务系统 A 了,问题依旧出现,说明问题应该不是出现在代理服务器 B 、业务服务器 C 甚至更加往下的服务器

这东西对我的冲击有点像“计算网络不存在了” https://i.imgur.com/NIvxivj.png
因为情况很复杂,所以写了很多的字配上图来说明情况,希望大佬们可以耐心看完 https://i.imgur.com/YGIx7lh.png
帖子不要沉了呀,求大家帮帮我
分子+1
145 天前
回复了 abcfreedom 创建的主题 Apple ios 有没有什么 app 能去掉图片隐私信息的
dama ?
146 天前
回复了 intoext 创建的主题 Debian Debian 这个系统你们一般怎么读?
底半
149 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@beneo 我这里的数据转换很简单,就是接收请求,然后调用新版本的服务,获取到返回数据之后再按照老版本的格式返回,请求量大是因为微信小程序端不升级了,一直在请求老接口
149 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Immortal 还有一个是组网是用的 tailscale 来跨云联通,这块 k3s 有很多资料(直说了就是米开朗琪杨推的🤣)
149 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Immortal 第一次用 k3s 的时候,我的活动机都开的是 1c2g ,跑个 k8s 的话就别想跑服务上去了,所以就整了 k3s ,后面受不了机器性能太低,就渐渐的开成 2c4g 的配置了
149 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Immortal 我组的高可用集群
149 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
150 天前
回复了 momowei 创建的主题 Go 编程语言 go 的内存优势在部分场景比想象中多
@Mystery0 数据库和 redis 在单独的机器上,通过内网连进去,不在 k3s 里面
1  2  3  4  5  6  7  8  9  10 ... 23  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2817 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 20ms · UTC 12:42 · PVG 20:42 · LAX 05:42 · JFK 08:42
Developed with CodeLauncher
♥ Do have faith in what you're doing.