V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
makeapp
V2EX  ›  程序员

搜索引擎类爬虫 crawl frequency 策略的设计

  •  
  •   makeapp · 2019-06-14 02:26:28 +08:00 · 1280 次点击
    这是一个创建于 1990 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请教大家一个设计问题。现在有一个点餐类搜索引擎,爬取 100w 个饭店,有 10 种送餐方式,不同送餐方式的快递费不同,快递费会随时间变化而变化。 要求给定一个邮编,显示附近的饭店和对应的送餐价格。

    权衡的因素有: 数据是否实时,数据是否正确,对网站影响尽可能小

    4 条回复    2019-06-14 11:48:12 +08:00
    locoz
        1
    locoz  
       2019-06-14 08:06:44 +08:00 via Android   ❤️ 1
    感觉你的描述有点奇怪,给你细化一下:
    1、爬的这 100w 个饭店的数据源来自哪里?
    2、10 种送餐方式和爬虫之间的关系?
    3、邮编我记得只到区级,怎么精确定位?话说这年头有人用邮编点餐?
    4、要数据实时就不可能对对方网站压力小,这是无法调和的矛盾。
    silencefent
        2
    silencefent  
       2019-06-14 08:36:00 +08:00
    建议从头学习爬虫入门技术
    jc89898
        3
    jc89898  
       2019-06-14 09:56:07 +08:00
    @locoz 人家不一定说的是中国嘛,邮编其实也有可能的。
    makeapp
        4
    makeapp  
    OP
       2019-06-14 11:48:12 +08:00
    @locoz 假设给定邮编后能知道 gps 的坐标,100w 个饭店的 gps 坐标也都知道。10 种送餐方式相当于是 seed_url,访问其中一个 url 后输入邮编,可以获取附近 10 公里内的饭店和快递费用。想求的是,给定邮编 xxx,对于附近的饭店,最便宜的送餐方式什么?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   912 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 22:06 · PVG 06:06 · LAX 14:06 · JFK 17:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.