V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
xjiang1982154112
5.58D
V2EX  ›  分享创造

我把 AI 用到了爬虫上,做了一款工具

  •  
  •   xjiang1982154112 ·
    PRO
    ·
    jufeng-2022 · 2025 年 12 月 17 日 · 19509 次点击
    这是一个创建于 41 天前的主题,其中的信息可能已经有所发展或是发生改变。

    一句话介绍

    URL + 一句话,自动监控网页内容更新

    猫头鹰 AI mtywatch.com

    使用示例

    • 某事业单位的招聘公告页 URL + "有行政、文书类岗位的招聘公告,通知我"
    • 某热榜页 URL + "有突发的公共安全事件发生通知我,比如各种自然灾害、卫生食品安全事件"
    • 某地方政府部门公告页 URL + "有学校、医院相关的建设、改建类的项目公告,通知我"

    功能说明

    • 自动分析:AI 自动分析并监控页面,不需要写代码、不用配 RPA 脚本、不需要 RSS 支持
    • 自动修正:如果页面改版,AI 会自动进行修正适配
    • 多种通知:支持邮件、短信、飞书、钉钉、自定义 webhook 等通知方式

    操作步骤

    超简单,三步搞定

    1. 输入要监控的 URL

    2. 输入你想关心的数据说明

    3. 点击自动分析,创建监控任务

    价格

    • 免费用户可以监控 5 个网站
    • 注册赠送 100 积分,签到、分享都可以获得大量积分

    个人日常使用足够了


    以上是标准产品介绍,接下来聊聊我的想法。

    20 多年前,我刚刚成为程序员,对爬虫技术就很感兴趣,一直觉得爬虫是大有前途的方向。但是我感兴趣的不是大量抓取数据、不是毫秒响应抢茅台~ 而是很多做小生意的人、学生、创业者,他们需要关注一些网站:同行、供应商、政府部门、电商平台、学术论坛等等,我见过他们花几百几千找人写爬虫,用几天就不能用了;也见过他们花时间学爬虫工具,学了几天放弃了。

    要满足他们的需求不难,熟练的爬虫工程师可能只要花 1 个小时就能写好代码。难得是这些需求人群过于零散、网页类型千奇百怪。我尝试过很多方法,也尝试过做一个更友好的图形化爬虫配置工具。始终感觉是技术人员的自嗨行为,这样的工具,做的再友好,仍然不是普通人学的会的。

    23 年大模型刚出现的时候,重新唤起了我做这件事情的心思,但还是实验失败了; 24 年不死心又实验了一次,能力勉强能落地,但是 tokens 的成本不足以形成商业产品;直到今年,大模型在编程领域的神奇能力,解决我最后一块拼图。

    心心念了 20 年的产品,终于把她做出来了。


    以上是我的碎碎念,接下来我要寻求帮助了!

    我们略懂技术

    技术路线我们已经实验成功了,虽然产品刚上线,还需时间打磨,但我相信我们的技术团队能把她做好,也希望大家可以提出宝贵意见,耐心等待我们把她雕刻完美。

    我们不太懂市场

    我粗浅的理解为,原来饱受爬虫配置工具荼毒的人群,就是我们的客户;那些做小生意的人、学生、创业者,也是我们的客户;我只要把一句话监控网页这个核心能力做好了,应该有我们团队一口汤喝!

    如我所说,这很粗浅,我需要大家的看法,我们需要鼓励,更需要批评!!

    我们不太懂营销

    额,花钱打广告还是会的;嗯,也只会一半:花钱 -_-!

    我都不知道应该如何发问,遇到人只能说一句:我要怎么做?你可以从头开始教我的 -_-!

    第 1 条附言  ·  2025 年 12 月 18 日
    听人劝吃饱饭 -_-

    已上线邮箱登录功能,欢迎大家体验;

    多谢大家提出的宝贵意见,我们会持续优化升级 /抱拳
    Solana
    V2EX 支持通过 Solana 网络向内容作者打赏
    Livid 打赏了 100 $V2EX
    108 条回复    2026-01-27 20:16:06 +08:00
    1  2  
    beerchyan
        101
    beerchyan  
       11 小时 40 分钟前   ❤️ 1
    监听的大麦的演出门票,绑定了微信,点击确认创建,提示"创建任务需要配置通知方式的详细信息"
    JEFFMEME
        102
    JEFFMEME  
       11 小时 30 分钟前   ❤️ 1
    提个优化建议,统一菜单界面:
    场景详情页时,菜单栏第三个显示的是「价格」,其他页面菜单栏第三个显示的是「会员」
    xjiang1982154112
        103
    xjiang1982154112  
    OP
    PRO
       11 小时 29 分钟前
    @JEFFMEME 多谢支出,马上修改
    xjiang1982154112
        104
    xjiang1982154112  
    OP
    PRO
       11 小时 28 分钟前
    @beerchyan 收到,我们排查一下问题,欢迎加入技术服务群,有任何问题随时反馈给我们
    iceecream
        105
    iceecream  
       9 小时 16 分钟前
    @xjiang1982154112 这不是什么司法解释,就是一片普通的文章而已,只代表法官个人的研究,至于是不是犯法。不是他说了算。是他们说了算。
    Lemonadeccc
        106
    Lemonadeccc  
       2 小时 54 分钟前
    要能爬牛客就好了,每次打开都一阵焦虑
    herozzm
        107
    herozzm  
       1 小时 30 分钟前
    太局限性了,有验证码的爬不了,需要无头浏览器的爬不了?
    nocturnal
        108
    nocturnal  
       1 小时 22 分钟前
    这种会点代码分分钟的事情
    1  2  
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   3108 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 13:38 · PVG 21:38 · LAX 05:38 · JFK 08:38
    ♥ Do have faith in what you're doing.