V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
xiaoyu9527
V2EX  ›  问与答

现在还有哪些免费的采集器?

  •  
  •   xiaoyu9527 · 2016-07-15 15:18:25 +08:00 · 2359 次点击
    这是一个创建于 3045 天前的主题,其中的信息可能已经有所发展或是发生改变。

    本来学 scarpy 目前学不起来。

    但是看看火车现在收费。

    还有哪几家采集器是免费的?

    17 条回复    2016-07-19 14:53:04 +08:00
    Mirachael
        1
    Mirachael  
       2016-07-15 15:25:04 +08:00
    scrapy 拼都拼错了,确实学不起来。学个东西要用心啊。
    xiaoyu9527
        2
    xiaoyu9527  
    OP
       2016-07-15 15:26:45 +08:00
    @mojixiang1102 scrapy 到 xpath 呢 直接用 chrome 抓 老是有问题。

    自己写又不会写。。
    Mirachael
        3
    Mirachael  
       2016-07-15 15:28:34 +08:00
    @xiaoyu9527 我觉得没什么难的啊 找个教程写个 demo ,能跑起来就成功了。然后按照自己的需求改就行。楼主难道不会 python 吧?
    xiaoyu9527
        4
    xiaoyu9527  
    OP
       2016-07-15 15:29:13 +08:00
    @mojixiang1102 我就是找 demo 学呀。 但是 xpath 不行呀。
    woniu127
        5
    woniu127  
       2016-07-15 15:32:08 +08:00
    用 chrome 抓 xpath ,比如淘宝商品搜索结果的店铺名,抓两个店铺的 xpath ,哪里不同改哪里
    Mirachael
        6
    Mirachael  
       2016-07-15 15:32:27 +08:00
    @xiaoyu9527 有文档的,而且可以在 chrome 调试器下面测试 xpath 路径。
    xiaoyu9527
        7
    xiaoyu9527  
    OP
       2016-07-15 15:37:43 +08:00
    @mojixiang1102 哪里有 XPATH 的 CHROME 调试文档?
    ytmsdy
        8
    ytmsdy  
       2016-07-15 15:40:19 +08:00
    直接火车头吧,下一个 7.0 的破解版,一般来说都够用了。
    GreatMartial
        9
    GreatMartial  
       2016-07-15 15:42:27 +08:00
    gooseeker ,你可以试试
    xiaoyu9527
        10
    xiaoyu9527  
    OP
       2016-07-15 15:42:47 +08:00
    @ytmsdy 我是先想抓一部分数据。 这样明天我也去比较好安利一下
    notgod
        11
    notgod  
       2016-07-15 15:42:51 +08:00
    以前买过一个 zzcity 的 ettools 还是什么的
    100 多块 后来也没用

    这个一直有免费版的
    使用也小白

    不过我觉得还是自己写的采集工具比较好用
    可定制 自动化 还能针对性处理一些情况
    xiaoyu9527
        12
    xiaoyu9527  
    OP
       2016-07-15 15:48:17 +08:00
    @notgod 我是想先入一部分数据 至少得入个 1000 到 2000 篇。
    CosimoZi
        13
    CosimoZi  
       2016-07-15 15:55:20 +08:00
    scrapy 又不强迫你用 xpath,你可以用 beautifulsoup
    xiaoyu9527
        14
    xiaoyu9527  
    OP
       2016-07-15 15:55:45 +08:00
    @CosimoZi 不是 xpath 流行么。、
    Mirachael
        15
    Mirachael  
       2016-07-15 16:27:29 +08:00
    @xiaoyu9527 打开开发者工具,选中一个 dom 节点右击有个 copy 选项,里面有 copy xpath.
    xiaoyu9527
        16
    xiaoyu9527  
    OP
       2016-07-15 16:37:58 +08:00
    @mojixiang1102 我就是这样弄的 但是用起来感觉好累
    xiaoyu9527
        17
    xiaoyu9527  
    OP
       2016-07-19 14:53:04 +08:00
    有没有大牛再给我点方案呀。

    我是真想赶紧入库点数据
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1897 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 16:31 · PVG 00:31 · LAX 08:31 · JFK 11:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.