推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
mysql2ch，一个同步 MySQL 数据到 ClickHouse 的项目
jenlors · 2020-03-19 21:16:35 +08:00 · 3074 次点击这是一个创建于 1710 天前的主题，其中的信息可能已经有所发展或是发生改变。
不久之前发布了初代版本的帖子，https://www.v2ex.com/t/647495#reply5，经过一段时间的升级之后，mysql2ch 升级到了 2.0 版本，功能更完善，跪求各位 star~👉mysql2ch
mysql2ch
Introduction
mysql2ch is used to sync data from MySQL to ClickHouse.
Requirements
- kafka
- docker & docker-compose
Usage
Full data etl
$ python manage.py etl -h
usage: manage.py etl [-h] --schema SCHEMA --tables TABLES [--debug]
optional arguments:
-h, --help show this help message and exit
--schema SCHEMA Schema to full etl.
--tables TABLES Tables to full etl,multiple tables split with comma.
--debug Display SQL information.
Continuous Sync
cp .env.example .envand edit it.- edit
docker-compose.yml,which will read.env,add your own consumer.One consumer consume one kafka partition. docker-compose up -d.
Optional
- sentry,error reporting,worked if set
SENTRY_DSNin.env.
 |
1
ericFork 2020-03-20 06:28:04 +08:00
解析 binlog 往 kafka 里填的部分是自己实现的么？
|
 |
2
jenlors OP 不是，只需要配置好就行了。
|
Select Language