【Infra Meetup No.87】摩拜数据复制中心 Gravity 介绍

在上周六举办的 Infra Meetup No.87 上,来自摩拜的胡明老师为大家介绍了摩拜数据复制中心 Gravity,现场讨论氛围非常热烈,来自摩拜的任弘迪老师也解答了大家的一些疑问。以下是现场视频&文字回顾,enjoy~

Gravity 是摩拜数据库团队使用 Golang 研发的一款数据同步组件。实现了线上数据库变更的实时推送,MySQL 数据库的单向、双向同步。在数据同步过程中,还支持自定义的数据变换(列映射、重命名等)。Gravity 可以使用单进程的方式部署,也可以使用基于 Kubernetes 的集群模式部署。

在摩拜内部,Gravity 被用在多种场景下,包括大数据总线的建设,分库分表到合库的同步,大规模数据清洗,配合微服务拆分的数据库实时双向同步。

胡明 | 摩拜

胡明 | 摩拜

在此次 Meetup 上,大家一起讨论了很多数据同步方面遇到的宝贵经验。包括怎么实现数据库的双向同步,分库分表到合库时 DDL 的处理遇到的坑,在集群模式下可能发生脑裂带来的数据不一致的情况。

最后,胡明老师分享了 Gravity 的 Roadmap,包括对 DDL 的支持,统一的序列化格式,bingo 归档,PostgreSQL 的支持,以及原生的 TiDB 增量同步的支持。