请教一个爬虫的问题

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1697 天前的主题，其中的信息可能已经有所发展或是发生改变。

在爬一个网站把 header 参数，params 都写出来了，可还是爬不出来，不知道这网站有什么反爬技术。请大家看看，这是 ajax 网址： http://www.grainmarket.com.cn/centerweb/getData。这是网站：http://www.grainmarket.com.cn/centerweb/biddingFair/planDetail/2020033100167/G。麻烦各位大神帮我看看怎么获取他的最终数据。先谢谢大家了

反爬

params

header

ajax

15 条回复 • 2020-04-03 13:05:17 +08:00

mitu9527

2020-04-03 11:52:03 +08:00

你提交请求过去，漏了数据“param: {"m":"tradeCenterArea"}”。

zlfera

2020-04-03 11:53:53 +08:00

@mitu9527 都填了也没有用

different

2020-04-03 11:59:00 +08:00

@zlfera curl -d "param=%7B%22m%22%3A%22tradeCenterArea%22%7D" -H "Content-Type: application/x-www-form-urlencoded" -X POST http://www.g
rainmarket.com.cn/centerweb/getData

different

2020-04-03 11:59:52 +08:00

![微信截图_20200403115922.png]( https://i.loli.net/2020/04/03/IE23ewKVLkTGU5l.png)

azoon

2020-04-03 12:01:28 +08:00

试了一下，这个网站没有用任何反扒技术。

also24

2020-04-03 12:07:47 +08:00

试了下，啥都不用加就能访问的啊

https://i.loli.net/2020/04/03/ZVx9oL4OTezv6sD.png

different

2020-04-03 12:07:57 +08:00

curl -d "param=%7B%22m%22%3A%22tradeCenterPlanDetailInfo%22%2C%22requestNo%22%3A%222020033100167%22%2C%22flag%22%3A%22G%22%7D" -X POST http://www.grainmarket.com.cn/centerweb/getData

![微信截图_20200403120543.png]( https://i.loli.net/2020/04/03/XPpeGWMzcjBNZqJ.png)

哪有这么复杂，Referer，UA 都不用加，，，

zlfera

2020-04-03 12:09:45 +08:00

@different @azoon 我需要获取的是 params 是{"m":"tradeCenterPlanDetailInfo","requestNo":"2020032400286","flag":"G"}这里面的数据

zlfera

2020-04-03 12:13:15 +08:00

@also24 那些都不是我要的数据，我要的是参数是{"m":"tradeCenterPlanDetailInfo","requestNo":"2020032400286","flag":"G"}这里的数据

different

2020-04-03 12:13:37 +08:00

@zlfera 看到七楼了嘛？
把七楼的 2020033100167 换成 2020032400286

也就是 param: {"m":"tradeCenterPlanDetailInfo","requestNo":"2020033100167","flag":"G"}换成
param: {"m":"tradeCenterPlanDetailInfo","requestNo":"2020032400286","flag":"G"}

different

2020-04-03 12:14:46 +08:00

![微信截图_20200403121359.png]( https://i.loli.net/2020/04/03/osnm97dLOCSHYti.png)

also24

2020-04-03 12:15:18 +08:00

@zlfera #9
正如楼上所说，都一样的啊……

https://i.loli.net/2020/04/03/haM7kceX6xGvSPR.png

zlfera

2020-04-03 12:16:25 +08:00

谢谢大家的帮助，是我参数设置错误了，谢谢大家了

Supermanhh

2020-04-03 12:57:21 +08:00 via iPhone

@also24 #12 话说你门这用的都是什么软件啊

also24

2020-04-03 13:05:17 +08:00

@Supermanhh #14

@ different 是直接手写的 curl

我用的是 PAW https://paw.cloud/