V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
luobogooooo
V2EX  ›  分享创造

[开源]写了一个从推特爬取 GPTs 的 Python 脚本

  •  
  •   luobogooooo · 266 天前 · 1667 次点击
    这是一个创建于 266 天前的主题,其中的信息可能已经有所发展或是发生改变。
    出海小白第一次建站,上年看到 https://github.com/all-in-aigc/gpts-works 开源了,就用它也做一个 GPTs 导航站。然后在 V 站看到 GPTs Hunter 大佬发帖 https://v2ex.com/t/990120 讲了数据怎样爬的,过年的时候自己动手实践了一下,老铁们可以直接拿去用。

    1. 从推特上爬取 GPTs 链接:
    https://github.com/luobogor/twitter-gpts-crawler

    2. 从 chatgpt 上爬取 GPTs 详情:
    https://github.com/luobogor/gpts-detail-crawler
    4 条回复    2024-03-06 23:31:28 +08:00
    airyland
        1
    airyland  
       266 天前
    列表其实也可以爬下 Google ,Google 大概有一半以上的官方 GPTs 链接是从 GPTsHunter.com 发现并索引的(utm_source=gptshunter.com)。
    luobogooooo
        2
    luobogooooo  
    OP
       266 天前
    马上回去实践,感谢大佬指点 @airyland
    luobogooooo
        3
    luobogooooo  
    OP
       261 天前
    @airyland 请教大佬一个问题,研究了一下谷歌搜索的参数是这样的 https://google.com/search?q=Query&num=20&start=0 但是接口最多返回前 400 条数据,往后就算继续请求也不会返回结果,人工在浏览器搜索也这样只返回前 400 条结果。是不是不能用这个接口爬数据。
    airyland
        4
    airyland  
       260 天前   ❤️ 1
    @luobogooooo 还有其他角度啊:比如筛选最近 24 小时,按日期筛选。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3015 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 10:49 · PVG 18:49 · LAX 02:49 · JFK 05:49
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.