V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
lien321
V2EX  ›  分享创造

[开源] MyData 基于 Web API 的数据集成平台 v0.7.0

  •  
  •   lien321 · 343 天前 · 1511 次点击
    这是一个创建于 343 天前的主题,其中的信息可能已经有所发展或是发生改变。

    介绍

    MyData ,一个旨在简化 Web 应用之间数据对接的工具,提高日常工作效率,如其名“我的数据” 旨在让用户更好的掌控和管理数据。

    v1.0 的目标是:针对多应用之间数据集成的场景,为开发人员提供更安全、更方便的对接集成方案;

    项目资料

    系统结构

    image 绿线是新的数据传输通道,红线是被取代的通道;

    • 适用于
      • 基于 HTTP(S)协议 API 的应用之间对接数据;
      • 为项目或组织内部构建数据中心,降低对接门槛;
    • 目前不适用于
      • 实时的对接场景,需要接入第三方组件 对应用有技术要求;
      • 一次传输大量的数据,由于 HTTP 服务器通常有大小和时间相关的配置限制;

    系统特色

    1. 数据安全 MyData 尊重业务系统本身对数据的处理逻辑,通过 API 传输数据 可复用业务上对数据出和入的要求限制; 参与对接的业务系统无需开放数据库,也从源头断绝数据泄露的风险;

    2. 简化结构 MyData 扮演数据中心的角色,与所有应用都是一对一的关系,因此应用只需与 MyData 对接 无需与其他应用对接;

    3. 零侵入 采用 Web API 传输数据,无需任何 SDK ; 随着前后端分离的成熟,应用已有可用的 API 作为数据传输的通道,简化对接工作; 即使已有的接口不合适 开发新 API 也不存在技术问题;

    4. 可控性高 MyData 提供界面可配置的调度任务,系统会按指定间隔调用 API 传输数据; 让接口的调用可控且有迹可循,避免了应用对外公开 API 但无法管控第三方调用的情况;

    5. 复用性高 通过 API 集成 可减少业务变化、应用迁移或技术升级等情况造成的影响; MyData 提供环境管理,可配置环境的访问前缀地址,通过修改或新建环境可快速调整 API 的访问地址; 而业务变化和技术升级 都是 API 内部的变化,只要确保 API 能够正常调用和返回正确的数据即可;

    数据对接流程

    image

    功能模块

    image

    2 条回复    2024-02-29 15:16:57 +08:00
    nielinjie
        1
    nielinjie  
       278 天前
    有点像以前流行的 ESB ?对比优势是什么呢?
    lien321
        2
    lien321  
    OP
       278 天前
    @nielinjie 您好,感谢提问
    目前市面上有很多数据相关的平台或系统,而 MyData 的定位是专一提供数据集成服务,疏通数据的来源和去向,同时可以把其他数据相关的平台融合起来 而不是要取代;
    技术方面,因为开源 所以系统相对轻量些,MyData 仅支持 Web API 对接 基本没有技术要求、能复用业务接口对数据的处理、更不会侵入业务数据库;
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1263 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 18:05 · PVG 02:05 · LAX 10:05 · JFK 13:05
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.