首页 注册 登录
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sunfishlu
V2EX  ›  程序员

请问各位大佬有没有办法获取搜索引擎收录某网站的所有页面？

  •   
  •   sunfishlu · 2020 年 5 月 18 日 via iPhone · 2543 次点击
    这是一个创建于 2071 天前的主题，其中的信息可能已经有所发展或是发生改变。
  • 请问
  • 收录
  • 大佬
  • 搜索引擎
    8 条回复
    mzlogin
        1
    mzlogin  
       2020 年 5 月 18 日 via Android
    你要的是搜索 site:xxxx.com 的效果吗？(逃
    sunfishlu
        2
    sunfishlu  
    OP
       2020 年 5 月 18 日 via iPhone
    @mzlogin 不是，这个搜索有限制，最多显示 100 页。
    soy
        3
    soy  
       2020 年 5 月 18 日 via Android
    入职搜索引擎公司 然后对所有收录的网页数据跑个 MapReduce （逃
    kaiki
        4
    kaiki  
       2020 年 5 月 18 日
    @soy 要不直接入职这个网站的公司吧，这样应该更方便点
    Tianao
        5
    Tianao  
       2020 年 5 月 18 日 via iPhone
    进搜索引擎站长工具 /站长后台。
    Mutoo
        6
    Mutoo  
       2020 年 5 月 18 日
    如果网站有 sitemap.xml 直接遍历即可。
    TimePPT
        7
    TimePPT  
    PRO
       2020 年 5 月 18 日 via Android
    如果是比较大的站，搜索引擎前台根本不会全放出来。这个跟搜索效率工程实现相关。
    sunfishlu
        8
    sunfishlu  
    OP
       2020 年 5 月 18 日 via iPhone
    @soy 我自己的网站被黑了，备份也没了。
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2318 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 01:05 · PVG 09:05 · LAX 17:05 · JFK 20:05
    ♥ Do have faith in what you're doing.