V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hustlzp
V2EX  ›  程序员

爬了下稀土的老页面,分享下数据

  •  1
     
  •   hustlzp ·
    hustlzp · 2016-03-17 10:12:09 +08:00 · 4373 次点击
    这是一个创建于 3183 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最初稀土是做互联网人才发现的,现在好像转型到技术社区、线下活动了。以前的老页面也没办法直接从 官网 访问。不过还是可以通过 URL 访问到。不知道哪天会下架,但感觉数据还是蛮有用的,所以爬下来了。

    格式如下,举个产品大神的例子,稀土页面是 https://xitu.io/702

    {
        "xId": 702,
        "name": "纯银",
        "avatar": "https://xitu.io/avatars/cicada.weibo.jpg", 
        "desc": "", 
    
        "stackOverflowLink": 0, 
        "stackOverflowFollowers": 0, 
        "githubLink": 0, 
        "githubFollowers": 0, 
        "zhihuLink": "http://www.zhihu.com/people/cicada", 
        "zhihuFollowers": 6800, 
        "weiboLink": "http://www.weibo.com/cicada", 
        "weiboFollowers": 45700, 
        "twitterLink": "", 
        "twitterFollowers": 0, 
        "dribbbleLink": "", 
        "dribbblerFollowers": 0, 
        "behanceLink": "", 
        "behanceFollowers": 0, 
    
        "recommended": true, 
        "recommenderName": "阿混", 
        "recommenderXId": 415, 
        "inviteComment": "蝉游记创始人,郭子威在网易就职的五年间,负责过网易相册等产品的开发。当然,关注他主要还是觉得他一些文案写的不错,哈哈哈", 
        "tags": [
            "蝉游记", 
            "电脑商情报", 
            "网易", 
            "写作能手"
        ], 
        "links": [
            {
                "text": "蝉游记 - 发现旅行之美,保存旅行回忆", 
                "link": "https://xitu.io/hit/link/11408"
            }, 
            {
                "text": "http://www.zhihu.com/question/19565132", 
                "link": "https://xitu.io/hit/link/11409"
            }, 
            {
                "text": "纯银 V - 简书", 
                "link": "https://xitu.io/hit/link/11410"
            }, 
            {
                "text": "坏脾气的小肥 - 纯银 - 网易博客", 
                "link": "https://xitu.io/hit/link/11411"
            }
        ], 
    
        "upvotesCount": 18, 
    }
    

    还有一些其他的字段,是从 LeanCloud 导出的时候附带的,忽略就行。

    下载地址:https://www.dropbox.com/s/0jmwmdvs60wxt4m/People.json?dl=0

    14 条回复    2016-04-07 00:04:48 +08:00
    miao1007
        1
    miao1007  
       2016-03-17 14:18:46 +08:00
    创业不易啊
    congteng
        2
    congteng  
       2016-03-17 15:20:28 +08:00   ❤️ 1
    挺好的
    hustlzp
        3
    hustlzp  
    OP
       2016-03-17 16:25:43 +08:00
    @miao1007 是啊...
    hustlzp
        4
    hustlzp  
    OP
       2016-03-17 16:30:23 +08:00
    @congteng 谢谢
    daocao
        5
    daocao  
       2016-03-17 17:05:14 +08:00   ❤️ 1
    1400 条数据 ? 直接没嘛价值

    还不如把 V2EX 的会员,按会员 id ,产生一个数据,再社工一下相关资料。

    少说有个大四位数的大佬集
    hustlzp
        6
    hustlzp  
    OP
       2016-03-17 17:06:55 +08:00   ❤️ 1
    @daocao 有道理啊!
    daocao
        7
    daocao  
       2016-03-17 17:17:19 +08:00
    @hustlzp 哈,口无遮拦了一点。。。 加油吧
    hustlzp
        8
    hustlzp  
    OP
       2016-03-17 17:20:22 +08:00
    @daocao 没事,我还没想到这一点,谢谢~~
    clearbug
        9
    clearbug  
       2016-03-17 17:35:29 +08:00
    o(︶︿︶)o 唉,我连 dropbox 都访问不了
    daocao
        10
    daocao  
       2016-03-17 17:40:21 +08:00
    btw ,卤煮的西窗烛不错... 诗词亦我所爱也
    hustlzp
        11
    hustlzp  
    OP
       2016-03-17 17:45:10 +08:00
    @clearbug 需要的话可以留个邮箱。

    搭个 SS 呗。或者自己懒得搭就用现成的 SS 服务,比如: http://ss.hongxingchajian.com/
    hustlzp
        12
    hustlzp  
    OP
       2016-03-17 17:45:30 +08:00
    @daocao 多谢支持 ^_^
    badcode
        13
    badcode  
       2016-03-17 20:40:02 +08:00
    @daocao 看过之前的帖子,貌似有人已经在做了

    不禁感叹:有些事确实是年少无知,一失足成千古风流人物!

    关掉电脑压压惊先
    thefatguy
        14
    thefatguy  
       2016-04-07 00:04:48 +08:00
    @hustlzp 赞行动力。正是我们需要的,改天请你们吃饭!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1224 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 75ms · UTC 18:12 · PVG 02:12 · LAX 10:12 · JFK 13:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.