有个爬虫问题，请教大家

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2069 天前的主题，其中的信息可能已经有所发展或是发生改变。

http://www.pyggzy.com/list.asp?class=25
这个地址，用 postman 可以抓取到信息，但是用 php 的 file_get_contents 或者其他语言的 get 都访问失败，找了半天没发现是什么原因？

5 条回复 • 2019-03-18 08:35:43 +08:00

uyhyygyug1234

2019-03-17 16:49:13 +08:00

f12 copy as curl 可以啊

herozzm

2019-03-17 17:04:13 +08:00

@uyhyygyug1234 php 的 file_get_contents 不行，不知道什么原因

herozzm

2019-03-17 17:38:24 +08:00

有人帮看看找不到原因

yanwen

2019-03-18 01:39:06 +08:00 via iPhone

你看看是不是限制了 user agent 了，是的话就伪装一下

herozzm

2019-03-18 08:35:43 +08:00 via iPhone

@yanwen 并不是 postman 里面没有添加任何 header