这是一个创建于 190 天前的主题，其中的信息可能已经有所发展或是发生改变。
可能我理解得比较简单，就是假设一个生产的 PostgreSQL 数据库的 A 、B 、C 库，都实时或 Cron 定时地同步到另外一个 PostgreSQL 数据库的 A 、B 、C 库。
网上搜索都是都是啥大数据相关的内容，什么 ETL 、CDC 、ODS...看不懂，且感觉有些杀鸡用牛刀？还是说可能搜索的关键词不行？我主要的目的是提供给第三方写视图用的，烂视图对数据库性能的影响大家应该都知道，他们搞砸了都不会影响到生产库。
因为涉及到增删改查，肯定有读写，也没法去做一个生产库的流复制从库给人家用。
总结一下我要的功能可能是类似 Navicat 上的 “结构同步” 与 “数据同步”，然后它是简单的，命令行的，可自动化的。
谢谢大家。
网上搜索都是都是啥大数据相关的内容，什么 ETL 、CDC 、ODS...看不懂，且感觉有些杀鸡用牛刀？还是说可能搜索的关键词不行？我主要的目的是提供给第三方写视图用的，烂视图对数据库性能的影响大家应该都知道，他们搞砸了都不会影响到生产库。
因为涉及到增删改查，肯定有读写，也没法去做一个生产库的流复制从库给人家用。
总结一下我要的功能可能是类似 Navicat 上的 “结构同步” 与 “数据同步”，然后它是简单的，命令行的，可自动化的。
谢谢大家。
18 条回复 • 2024-05-16 15:59:58 +08:00
 |
1
FTLIKON 190 天前
自己写个脚本同步就可以了，你要用第三方工具难免很复杂
|
 |
2
tuutoo 190 天前
试试 Airbyte?
|
 |
3
thtznet 190 天前
定时备份/还原
|
 |
4
littlezzll 190 天前
pgquarrel ？
|
 |
5
qing108 190 天前
自己写一个 python 脚本同步不就好了
|
 |
6
Ackvincent 190 天前
python 用 psycopg2 写个脚本就可以了，没多大工作量。
|
 |
7
tomczhen 189 天前
fdw
|
 |
8
nolo 189 天前
外部表或者逻辑复制
|
 |
9
privil 189 天前
dbswitch 试试，我上周刚测试同步空库没啥问题，实际数据量大了不知道
|
 |
10
54yzwddsg 189 天前
主从模式？
|
 |
11
srlp 189 天前 via iPhone
datax 阿里的，好用
|
 |
12
fangxing204 189 天前 via Android
pgsync
|
 |
13
dayeye2006199 189 天前 via Android
Airbyte
|
 |
14
ABBOTBREW 189 天前
HeidiSQL
|
 |
15
encro 189 天前
PostgreSQL 自带 fwd 能满足您要求？
|
 |
16
sujin190 189 天前
只同步数据的话那分享下项目
https://github.com/snower/syncany-sql 把 SQL 当作脚本执行，内部有自动依据主键增删改同步数据的逻辑，可以用 crontab 来调用 set @use_output_type='UPDATE_DELETE_INSERT'; insert into `pg2`.`adata` select `id`, `name`, `create_time` from `pg1`.`bdata` where `id`>=2; 使用 set @use_output_type 设定更新目标库方式，可选值有 INSERT 、UPDATE_DELETE_INSERT 、UPDATE_INSERT 、DELETE_INSERT ，不设置时和正常 insert into 一样默认 INSERT ，select 的第一个字段自动认为是主键，相同主键执行 update ，否则插入 |
 |
17
yjhatfdu2 189 天前
数据的话，用数据库原生的 publish 、subscribe 是最简单最优的，但是不能自动同步 DDL ，发生 DDL 后需要先在从库中更新 DDL 再继续订阅
|
 |
18
guxin0123 189 天前
Navicat 自动运行 试过了没
|
Select Language