V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
429463267
V2EX  ›  程序员

大数据学习个人项目: SZT-bigdata 深圳地铁大数据客流分析系统,开源了

  •  
  •   429463267 · 2020-04-14 06:20:59 +08:00 · 3759 次点击
    这是一个创建于 1685 天前的主题,其中的信息可能已经有所发展或是发生改变。
       ___     ____   _____           _         _      __ _      _             _
      / __|   |_  /  |_   _|   ___   | |__     (_)    / _` |  __| |   __ _    | |_    __ _
      \__ \    / /     | |    |___|  | '_ \    | |    \__, | / _` |  / _` |   |  _|  / _` |
      |___/   /___|   _|_|_   _____  |_.__/   _|_|_   |___/  \__,_|  \__,_|   _\__|  \__,_|
    _|"""""|_|"""""|_|"""""|_|     |_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|
    "`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'
    
    

    项目说明🚩:

    🎈该项目主要分析深圳通刷卡数据,通过大数据技术角度来研究深圳地铁客运能力。
    ✨🎉 强调学以致用,本项目的原则是尽可能使用较多的常用技术框架,加深对各技术栈的理解和运用,在使用过程中体验各框架的差异和优劣,为以后的开发项目选型做基础。
    👑 解决同一个问题,可能有多种技术实现;实际的企业开发应当遵守最佳实践原则。

    核心技术栈(持续更新)⚡:

    Java/Scala
    Flink-1.10
    Redis-3.2
    SpringBoot-2.13
    knife4j-2.0 (前身为 swagger-bootstrap-ui )
    kafka-0.11 (最佳 CP kafka-eagle)
    CDH-6.2
    Docker
    Elasticsearch-7
    Spark-2.3
    Hive-2.1
    Impala
    HBase
    ...

    github: https://github.com/geekyouth/SZT-bigdata

    22 条回复    2020-04-19 02:03:38 +08:00
    levelworm
        1
    levelworm  
       2020-04-14 07:35:41 +08:00 via Android
    国内还有这数据,不错啊!可以撸一把,像你说的用 Kafka 做成实时流。
    tigerstudent
        2
    tigerstudent  
       2020-04-14 08:10:44 +08:00 via Android
    好奇数据源哪里来的?
    tigerstudent
        3
    tigerstudent  
       2020-04-14 08:11:48 +08:00 via Android
    噢,看到 readme 里的描述了
    1more
        4
    1more  
       2020-04-14 08:47:05 +08:00 via iPhone
    正好最近在研究 kafka,已 star
    wudalang123
        5
    wudalang123  
       2020-04-14 09:41:43 +08:00
    我也好奇数据来源在哪里
    wudalang123
        6
    wudalang123  
       2020-04-14 09:43:06 +08:00   ❤️ 1
    @tigerstudent 找到了数据源🌍:

    深圳市政府数据开放平台,深圳通刷卡数据 133.7 万条 [离线数据] ,https://opendata.sz.gov.cn/data/api/toApiDetails/29200_00403601

    理论上可以当作实时数据,但是这个接口响应太慢了,于是本项目采用离线思路处理。当然,如果采用 kafka 队列方式,也可以模拟出实时效果
    Juszoe
        7
    Juszoe  
       2020-04-14 11:19:35 +08:00
    楼主的 commit 都带有 emoji
    LeeSeoung
        8
    LeeSeoung  
       2020-04-14 12:26:02 +08:00
    最好介绍下哪些设计用了哪些框架组合?
    429463267
        9
    429463267  
    OP
       2020-04-14 14:25:27 +08:00
    @levelworm
    据我所知,目前国内北京、上海、深圳这三个城市都开放了城市公共数据,权威性还是有保证的。
    429463267
        10
    429463267  
    OP
       2020-04-14 14:26:29 +08:00
    @1more
    抛砖引玉,我也是个菜逼😂😂😂
    429463267
        11
    429463267  
    OP
       2020-04-14 14:27:51 +08:00
    @Juszoe

    win10 自带功能,win + 半角句号即可调出 emoji 面板
    😏😏😎😎😎💖💖💖
    429463267
        12
    429463267  
    OP
       2020-04-14 14:29:05 +08:00
    @LeeSeoung

    目前项目边做边演进,readme 里面宗旨是尽可能多的用到大数据主流技术。
    misaka19000
        13
    misaka19000  
       2020-04-14 14:48:30 +08:00
    感谢楼主,学习一下~~~
    mwcodenoname
        14
    mwcodenoname  
       2020-04-14 14:56:05 +08:00
    @429463267 好像不止,搜了一下广州成都都有
    mwcodenoname
        15
    mwcodenoname  
       2020-04-14 14:57:50 +08:00
    @levelworm 请问你之前有没有在 sonicbbs 论坛混迹过? ID 看着有点眼熟
    429463267
        16
    429463267  
    OP
       2020-04-14 15:05:04 +08:00
    @mwcodenoname

    没逛过这个论坛😒
    IMASHER
        17
    IMASHER  
       2020-04-14 15:11:35 +08:00
    老哥服务器啥配置?几台?
    429463267
        18
    429463267  
    OP
       2020-04-14 15:16:48 +08:00
    @IMASHER
    我有一台主机,两台笔记本,安装了 vmware centos7,总计三台机器。。
    429463267
        19
    429463267  
    OP
       2020-04-14 20:09:14 +08:00
    levelworm
        20
    levelworm  
       2020-04-15 01:10:05 +08:00 via Android
    @mwcodenoname 打倒八尺!
    429463267
        21
    429463267  
    OP
       2020-04-16 17:11:42 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2756 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 07:41 · PVG 15:41 · LAX 23:41 · JFK 02:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.