V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
aliseree
V2EX  ›  问与答

排名查询工具原理

  •  
  •   aliseree · 2016-03-14 16:24:12 +08:00 · 1732 次点击
    这是一个创建于 3187 天前的主题,其中的信息可能已经有所发展或是发生改变。

    电商公司有这样的需求:输入一个关键词,查询指定产品或卖家在产品搜索结果显示在第几页
    功能类似于: http://www.taodaxiang.com/
    请问这个原理是什么?要考虑到平台会屏蔽频繁访问而封锁 IP 的问题,如何做到?
    请指教,或者业余时间能帮我把功能做出来,有偿,谢谢

    4 条回复    2016-03-14 16:49:01 +08:00
    Strikeactor
        1
    Strikeactor  
       2016-03-14 16:27:05 +08:00   ❤️ 1
    爬虫前边加个代理池
    aliseree
        2
    aliseree  
    OP
       2016-03-14 16:30:05 +08:00
    @Strikeactor 如果做在 web 上,给访客使用的话,实现上会不会导致服务器负担很重,代理池成本多少?
    mhycy
        3
    mhycy  
       2016-03-14 16:33:20 +08:00   ❤️ 1
    @aliseree
    每次请求都依赖服务器发起,数据抽取也依赖服务器,负担的确很重
    代理池成本需要看有多少个用户访问频率如何,速度要求如何不能一概而论
    aliseree
        4
    aliseree  
    OP
       2016-03-14 16:49:01 +08:00
    @mhycy 供客户使用,每天至多大约 1 万次关键词查询,有朋友能做出来吗?
    大约需要多少经费,有空的话留个联系方式或者联系我微信 598①81851
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1046 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 19:32 · PVG 03:32 · LAX 11:32 · JFK 14:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.