V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
这是一个专门讨论 idea 的地方。

每个人的时间,资源是有限的,有的时候你或许能够想到很多 idea,但是由于现实的限制,却并不是所有的 idea 都能够成为现实。

那这个时候,不妨可以把那些 idea 分享出来,启发别人。
wganbleuthall
V2EX  ›  奇思妙想

有谁爬取过工商部或者天眼查, Boss, 拉钩之类的数据

  •  
  •   wganbleuthall · 2023-03-25 20:52:32 +08:00 · 4291 次点击
    这是一个创建于 594 天前的主题,其中的信息可能已经有所发展或是发生改变。
    • 都说现在环境差,找不到工作,有人做过爬下工商部每天有多少公司成立,有多少公司倒闭,然后做做筛选啥的吗
    • 或者把 BOSS ,拉钩的所有招聘信息爬下来,看看哪些公司正在招人,哪些公司哪天发布了新职位,哪些公司哪天关闭了哪个职位,哪个公司哪个职位挂那儿半年没动静了
    • 借此研究下行业现状,某家公司发展情况之类的,也可以服务下打工人
    25 条回复    2023-03-27 20:49:49 +08:00
    0o0O0o0O0o
        1
    0o0O0o0O0o  
       2023-03-25 20:54:04 +08:00 via iPhone
    违法
    wganbleuthall
        2
    wganbleuthall  
    OP
       2023-03-25 20:54:53 +08:00   ❤️ 1
    @0o0O0o0O0o #1 哈 爬取公开数据,就展示不盈利也违法吗
    blankmiss
        3
    blankmiss  
       2023-03-25 20:57:25 +08:00
    这倒是不违法
    herich
        4
    herich  
       2023-03-25 21:03:11 +08:00
    以前做过类似的爬虫,能爬下工商部、天眼查、boss 直聘数据的人,很有竞争力
    kwh
        5
    kwh  
       2023-03-25 21:03:21 +08:00
    破坏计算机运行?
    systemcall
        6
    systemcall  
       2023-03-25 21:08:37 +08:00 via Android
    违法
    现在除了工商部都要实名注册,不随便找到你?
    工商部你正常访问都困难,感觉就像是给这些软件卖数据的一样,不过想一想也正常
    0o0O0o0O0o
        7
    0o0O0o0O0o  
       2023-03-25 21:13:04 +08:00 via Android
    @wganbleuthall #2 当然违法,你就算是拿数据来做公益,在爬取的过程中你也已经违法过了。想不违法地爬取?问问工商数据网站的那些反爬手段答不答应。
    lzeeee
        8
    lzeeee  
       2023-03-25 21:18:47 +08:00
    可刑
    wganbleuthall
        9
    wganbleuthall  
    OP
       2023-03-25 21:24:16 +08:00
    @0o0O0o0O0o #7 淦 不考虑对服务器的压力和数据会被拿去做什么坏事 我个人理性上讲 我们公民有权获取这些数据啊 想了解了解工商环境这有啥啊,甚至说应该提供 API
    vemier
        10
    vemier  
       2023-03-25 21:46:50 +08:00
    找人手动统计算违法吗
    kingfalse
        11
    kingfalse  
       2023-03-25 21:52:19 +08:00 via Android
    有 2.7E 企业数据。。。。。
    abcdxe2v
        12
    abcdxe2v  
       2023-03-25 22:00:44 +08:00
    @0o0O0o0O0o 违法规模小不会管
    abcdxe2v
        13
    abcdxe2v  
       2023-03-25 22:01:52 +08:00
    盈利的话就可能管了
    LanFomalhaut
        14
    LanFomalhaut  
       2023-03-25 22:02:14 +08:00
    @wganbleuthall 工商信息的 API 花钱可以买到。

    公民有权获取信息≠可以非日常使用的情况下大量获取。
    工商系统的公开查询就可以满足日常使用了,至于学术研究等不在日常使用的范畴。
    爬的话,很刑。
    cxtrinityy
        15
    cxtrinityy  
       2023-03-25 22:02:46 +08:00
    你看工商部那数据电脑访问多麻烦就知道他有多不想把数据给你了, 你说公民有权获取这些数据, 他还说要保护公民隐私呢, 结果你注册个公司脚还没踏出服务大厅, 会计公司已经把你电话打爆, 然而实际你上国家企业信息公示系统那网站查一般人还查不到法人电话, 你就琢磨吧.
    baobao1270
        16
    baobao1270  
       2023-03-25 22:23:32 +08:00
    上面说违法的,虽然确实违法,但是不被发现就不算违法。

    爬虫 IP 不要用国内的。

    但是要是你发布你的研究结果的话,就算是发到 GitHub 上面,也最好当心点。
    sofukwird
        17
    sofukwird  
       2023-03-25 23:06:57 +08:00 via Android
    天眼查就是爬虫起家的,你爬它不是找死嘛
    vvbbb
        18
    vvbbb  
       2023-03-25 23:09:44 +08:00
    emmmm 没有人发现现在改叫市场监管总局了么?

    天眼和企查都有数据库,脱裤的也有,能买到。但是要向自己去爬,现在很难了
    westerndream
        19
    westerndream  
       2023-03-26 00:10:57 +08:00
    那么天眼查这种的数据是自己爬的还是和工商那有合作的,人家也有能力监测到每天有多少公司成立,有多少公司倒闭
    crazyweeds
        20
    crazyweeds  
       2023-03-26 00:44:49 +08:00
    私下+低调+国外 IP+节制+不分享。
    说实话,谁管你?
    snw
        21
    snw  
       2023-03-26 00:52:43 +08:00 via Android
    @systemcall
    工商的公示系统现在也要注册才能查询了,不过不确定是特定条件触发,还是全面要求登录。
    esee
        22
    esee  
       2023-03-26 01:44:38 +08:00 via Android
    @westerndream 有合作的,不然这么一块蛋糕,怎么市场上没几家做。或者应该说,有背景
    forQ
        23
    forQ  
       2023-03-26 11:17:07 +08:00
    IT 桔子
    zmqking
        24
    zmqking  
       2023-03-26 19:46:39 +08:00
    @kingfalse #11 你爬过?
    sakura6264
        25
    sakura6264  
       2023-03-27 20:49:49 +08:00
    是否违法取决于有没有人想抓你。
    万一哪天说要严打可能就拿你冲业绩了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   944 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 20:41 · PVG 04:41 · LAX 12:41 · JFK 15:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.