这是一个创建于 2049 天前的主题，其中的信息可能已经有所发展或是发生改变。
- 1.通过 User-agent 判断是否为爬虫访问。如果是则通过反向代理或者其他程序代理到一个专门为爬虫准备的服务
- 2.自己通过 nodeJs+puppeteer 或则模拟浏览器访问我们的项目然后返回渲染完成好的 HTML。
下面列出了一些常见的爬虫 agent
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Baiduspider-news
User-agent: Baiduspider
User-agent: Baiduspider-image
User-agent: Sosospider
User-agent: bingbot
User-agent: 360Spider
User-agent: HaosouSpider
User-agent: yisouspider
User-agent: YoudaoBot
User-agent: Sogou Orion spider
User-agent: Sogou News Spider
User-agent: Sogou blog
User-agent: Sogou spider2
User-agent: Sogou inst spider
User-agent: Sogou web spider
User-agent: EasouSpider
User-agent: MSNBot
User-agent: ChinasoSpider
7 条回复 • 2019-04-19 23:50:18 +08:00
 |
1
creedowl 2019-04-15 21:20:45 +08:00 via Android
很多爬虫都会伪装成搜索引擎吧，而且像 vue 这些前端框架都有 ssr 组件
|
 |
2
fuxinya 2019-04-15 23:13:04 +08:00 via Android
像是谷歌搜索，会不定时伪装成正常的访问，如果爬取二者页面相差很大，会认定你作弊
|
 |
3
whypool 2019-04-15 23:35:04 +08:00
目前打算上 ssr 了
|
 |
4
nobb519 2019-04-16 00:23:46 +08:00
现在已经不存在 SEO 了。外语站就有，但需要 PWA，百度的话，散了吧
|
 |
5
alexmy 2019-04-16 12:37:00 +08:00
如果是 react, vue，ssr 的解决方案也挺多的了。
|
 |
6
LongLights 2019-04-16 15:46:35 +08:00 via Android
4 楼说的对 中文网站已经没有 SEO 了
|
 |
7
abcbuzhiming 2019-04-19 23:50:18 +08:00
目前前后端分离项目如果一定要做 SEO，最理想的方案就是退回到后端渲染，针对爬虫返回不同内容很容易被判作弊的
|
Select Language