请求地址: https://www.digikey.cn/products/zh?WT.z_header=search_go&keywords=LTC4366HTS8-2
使用 Guzzlehttp 请求时时,返回内容如下:
<!DOCTYPE html>
<html>
<head>
<script>一些 js 代码</script>
</head>
<body>
<script>一些 js 代码</script>
</body>
</html>
在浏览器中响应内容是全部的 html 内容。
初步怀疑这是有什么权限之类的原因?对爬虫不是很了解,路过的帮忙看看。
1
noreplay 2020-01-07 14:49:44 +08:00
没玩过爬虫,感觉是一个 js 执行的问题,可以试一下无头浏览器之类的进行爬
|
2
s609926202 OP |
3
crella 2020-01-07 17:39:41 +08:00 via Android
爬 www.newsmth.net 一样。每次访问页面都被 js 处理并解析,所以要有类似浏览器 js 环境的 js 解析器
|
4
s609926202 OP @crella php 可以实现吗?
|
5
crella 2020-01-07 19:06:57 +08:00 via Android
|
6
ruimz 2020-01-07 19:19:11 +08:00 via Android
@crella 不用这么麻烦…newsmth 的 js 文件也是有规律对应的。F12 一下找到 js 文件地址,直接爬 js 就行…………
|
7
qoo2019 2020-01-07 19:32:01 +08:00 via iPhone
根据 ua,直接返回 200 就行了
|