求助一个数据同步/传输的方案

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› MySQL 5.5 Community Server

› MySQL 5.6 Community Server

› Percona Configuration Wizard

› XtraBackup 搭建主从复制

Great Sites on MySQL

› Percona

› MySQL Performance Blog

› Severalnines

推荐管理工具

› Sequel Pro

› phpMyAdmin

推荐书目

› MySQL Cookbook

MySQL 相关项目

› MariaDB

› Drizzle

参考文档

› http://mysql-python.sourceforge.net/MySQLdb.html

这是一个创建于 2421 天前的主题，其中的信息可能已经有所发展或是发生改变。

业务模型是这样的：

服务 A 和 B 分别独立运行，数据库在各自的服务器上，表结构是相同的，初始化的时候数据也是相同的，但服务 A 和 B 会分别产生新的数据，仅要求 A 的数据同步 /传输到 B，B 不要求到 A，可以存在传输延迟，有什么好的方案吗？

正在尝试主从同步，做 change master 操作的时候就卡住了，不知道能不能行得通

传输

同步

数据

行得通

11 条回复 • 2018-03-30 08:51:07 +08:00

regicide

2018-03-28 21:30:00 +08:00 via iPhone

syncnavigator

hkrept

2018-03-28 21:40:39 +08:00

AB 相互增量同步有什么好方法吗。曾经试过用 rsync 直接同步数据库文件，好像存在数据库更新的数据没有写入到磁盘的问题。

loading

2018-03-28 21:43:02 +08:00

https://github.com/alibaba/DataX

willychester

2018-03-28 23:57:04 +08:00

@regicide 多谢，功能上完全满足，只是没找到官网，搜出来的结果全是破解的……用着着实不放心啊

@hkrept 这是我下一步要考虑的，有几张表的数据是需要从 B 往 A 传的

@loading 明天仔细研究一下

不知道是不是我把问题想简单了，应该有工具 /中间件是专门做这个的吧
主数据库生成 binlog，工具读取解析，翻译过滤出原始 sql，然后去目标服务器执行……

regicide

2018-03-29 00:01:32 +08:00 via iPhone

@willychester 好像是官方倒闭了所以放心用你的单向用免费版的应该也够了

msg7086

2018-03-29 05:50:49 +08:00

MySQL 自带的主从就是你 4 楼说的那个 binlog 翻译执行。

sryanyuan

2018-03-29 10:08:21 +08:00

@willychester 的确有中间件做这个我负责的这块就是做这个的基本思路就是伪装成从节点从 A 节点拉数据，根据 A 的表结构来生成 sql 语句，然后执行。

现成的工具的话，可以试试 tidb 自带的 syncer，应该满足你的使用场景。

willychester

2018-03-29 11:25:14 +08:00

@msg7086 没深入了解过，但是主从的可配置项有点少，也不够灵活，以及对双方数据库的一致性要求感觉有点高

willychester

2018-03-29 11:25:48 +08:00

@sryanyuan 多谢，我去看看

julyclyde

2018-03-29 20:58:47 +08:00

@willychester 你说的这些问题，其实都是你自己的需求错误导致的

willychester

2018-03-30 08:51:07 +08:00

@julyclyde 可能是吧，也许可以从业务上解决这个问题