V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
SheldonZheng
V2EX  ›  Python

什么值得买网站的定时检测爬虫

  •  
  •   SheldonZheng · 2016-12-22 15:01:31 +08:00 · 9859 次点击
    这是一个创建于 2892 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://github.com/SheldonZheng/SMZDM_Monitor

    昨天写的一个什么值得买网站的监测爬虫;可以实现检测指定关键字,如果出现关键字匹配的内容发送邮件到指定邮箱。

    代码写的很烂 第一次用 python 写东西 轻喷

    Usage 里写的不太详细 改改文件开头的那一堆东西就可以用了

    如图所示

    31 条回复    2024-10-11 10:28:20 +08:00
    riaqn
        1
    riaqn  
       2016-12-22 15:05:31 +08:00   ❤️ 3
    不用这么麻烦。 smzdm 自己提供 rss feed 的,你用 rss2email 加上过滤器就行了。
    SheldonZheng
        2
    SheldonZheng  
    OP
       2016-12-22 15:06:49 +08:00
    @riaqn 没想到 rss 还能干这事。谢谢了
    UnisandK
        3
    UnisandK  
       2016-12-22 15:09:59 +08:00
    之前我也写过一个,出现关键词自动给自己发短信
    不过兄弟我得告诉你个悲壮的事。。张大妈客户端有这个功能了。。
    SheldonZheng
        4
    SheldonZheng  
    OP
       2016-12-22 15:10:29 +08:00
    @UnisandK 你说那个关注么。。那个玩意经常刷不出来
    UnisandK
        5
    UnisandK  
       2016-12-22 15:21:18 +08:00
    @SheldonZheng = =我这儿没啊,挺好用的,之前电动牙刷关注了给我推了个接近历低的活动。。
    morefreeze
        6
    morefreeze  
       2016-12-22 17:12:05 +08:00
    @UnisandK 好像自从上次改版后关注特别难用,只能关注特定商品或者特定商城,不如原来的分类关注好了,我一般只关注买书方面,但关注中亚会推别的商品,好难用
    morefreeze
        7
    morefreeze  
       2016-12-22 17:14:02 +08:00
    哦哦 原来还是有的 只是让我强行关注了一波中亚啥的
    ytmsdy
        8
    ytmsdy  
       2016-12-22 17:16:24 +08:00
    开始写爬虫之前要关注两个事情,网站是不是有 API ,以及是否有 RSS 订阅!
    SheldonZheng
        9
    SheldonZheng  
    OP
       2016-12-22 18:03:05 +08:00
    @ytmsdy 这个就是用的网站的 API 拿到的直接是 JSON 数据
    changdy
        10
    changdy  
       2016-12-22 19:22:32 +08:00
    兄弟 加油,我最近也想做一个.. 张大妈自带的推送简直太垃圾了,甚至说废品。
    楼上有说 rss 订阅的,其实远远不够符合需求,有些时候我们要的并不是某一个特定商品,而是某一类商品,然后在从中挑选比较热门的,怎么评判。没有大数据的时候只能依靠 评论数 以及点赞的比例。
    ps... api 在哪,我怎么没找到?
    daiv
        11
    daiv  
       2016-12-22 19:30:54 +08:00
    等便宜 所花费的时间和精力 都可以赚回来了吧。

    划不来
    SheldonZheng
        12
    SheldonZheng  
    OP
       2016-12-22 20:31:31 +08:00
    @changdy 看一眼代码 抓到的包里有一个获取当前最新的 20 条信息的 API ,不算是官方提供的 API ,但是确实可以直接拿来用
    SheldonZheng
        13
    SheldonZheng  
    OP
       2016-12-22 20:32:01 +08:00
    @daiv 是的 这个只是玩票性质的 刚需的商品肯定等不了……
    dhlwing
        14
    dhlwing  
       2016-12-22 21:02:10 +08:00 via iPhone
    http://www.zhiribao.com 可以 app 微信 邮件推送,值得买的评论都可以在那里看,还要自己写啥?
    daiv
        15
    daiv  
       2016-12-22 21:12:25 +08:00
    @dhlwing 采集的?


    @SheldonZheng 有没有这样一个网站, 购物指导性质的,例如买个台灯,直接推荐 5 个最好的,并且分析优缺点
    dhlwing
        16
    dhlwing  
       2016-12-22 21:39:23 +08:00 via iPhone
    @daiv 是的
    daiv
        17
    daiv  
       2016-12-22 22:00:39 +08:00
    @dhlwing 评论好像没采到吧。 采这个 流量如何
    dhlwing
        18
    dhlwing  
       2016-12-22 22:07:43 +08:00 via iPhone
    @daiv 十分钟后才开始采集当前内容的评论,你去翻之前的内容。 V2EX 回复了一段点发送空白了
    yilin101
        19
    yilin101  
       2016-12-22 22:10:31 +08:00 via iPhone
    色魔张大妈 app 支持 添加关键字 推送
    changdy
        20
    changdy  
       2016-12-22 22:18:28 +08:00
    @SheldonZheng 等我手下的先忙完了... 再管这个 233 到时候如果找不到接口了,估计还要有劳楼主。
    ranleng
        21
    ranleng  
       2016-12-22 23:19:19 +08:00 via Android
    有个人有微信的公众号接口。可以跟 github 绑了 之后 拿到 key 就可以调用了。微信提醒 比邮箱要快
    lonelinsky
        22
    lonelinsky  
       2016-12-23 00:34:52 +08:00   ❤️ 1
    @daiv http://www.guiderank.org/ 刚发现了这个,但是只有品牌排行,看了自己比较熟悉的几个领域,还是比较中立的

    @SheldonZheng 张大妈还有一个 chrome 的插件,也支持过滤推送
    SheldonZheng
        23
    SheldonZheng  
    OP
       2016-12-23 07:16:37 +08:00
    @dhlwing ……谢谢 这个看起来蛮好用
    SheldonZheng
        24
    SheldonZheng  
    OP
       2016-12-23 07:16:58 +08:00
    @lonelinsky 涨姿势了
    SheldonZheng
        25
    SheldonZheng  
    OP
       2016-12-23 07:17:45 +08:00
    @ranleng 等干完活空了看下
    sxd
        26
    sxd  
       2016-12-23 08:21:52 +08:00
    以前做了监控关键词后推送到 qq ,用了一段时间后发现太费钱了就不用了。。。
    RangerWolf
        27
    RangerWolf  
       2016-12-26 09:52:46 +08:00
    @sxd 想问下 费钱费在哪里?
    推送 QQ 怎么做的?
    SheldonZheng
        28
    SheldonZheng  
    OP
       2016-12-26 13:54:39 +08:00
    @RangerWolf 费钱的意思就是买的多呗……推送 QQ 基本都是基于 WebQQ 的方案,你可以看看酷 Q 的接口
    sxd
        29
    sxd  
       2016-12-27 09:03:43 +08:00
    嗯 之前用 webqq 不太好用 现在用酷 q 缺点是 windows only
    ty89
        30
    ty89  
       2016-12-27 13:49:11 +08:00
    几年前写过一个类似东西,不过是监测二手东的
    sw3rt
        31
    sw3rt  
       42 天前
    @SheldonZheng 现在抓到的包有签名算法,api 不能直接用了,得逆向复现签名算法
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   930 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 21:39 · PVG 05:39 · LAX 13:39 · JFK 16:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.