项目介绍

译意： 水獭，数据搬运工

语言： 纯java开发

定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库.

工作原理

原理描述：

1. 典型管理系统架构，manager(web管理)+node(工作节点)

   a. manager运行时推送同步配置到node节点

   b. node节点将同步状态反馈到manager上

2. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

otter能解决什么？

1. 异构库同步

2. 单机房同步 (数据库之间RTT < 1ms)

   a. 数据库版本升级

   b. 数据表迁移

   c. 异步二级索引

3. 异地机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同步，RTT > 200ms，亮点)

   a. 机房容灾

4. 双向同步

   a. 避免回环算法 (通用的解决方案，支持大部分关系型数据库)

   b. 数据一致性算法 (保证双A机房模式下，数据保证最终一致性，亮点)

5. 文件同步

   a. 站点镜像 (进行数据复制的同时，复制关联的图片，比如复制产品数据，同时复制产品图片).

说明：

异地机房复制示意图：

说明：

1. 中美异地机房同步

   a. 100tps ， 延迟2s

   b. 5000tps ，延迟10s
   ps. 性能指标取决于目标数据库性能，数据大小等多个因素，单机房100b大小，极限tps可以1w+

相关名词解释

otter核心model关系图

• Pipeline：从源端到目标端的整个过程描述，主要由一些同步映射过程组成
• Channel：同步通道，单向同步中一个Pipeline组成，在双向同步中有两个Pipeline组成
• DataMediaPair：根据业务表定义映射关系，比如源表和目标表，字段映射，字段组等
• DataMedia : 抽象的数据介质概念，可以理解为数据表/mq队列定义
• DataMediaSource : 抽象的数据介质源信息，补充描述DateMedia
• ColumnPair : 定义字段映射关系
• ColumnGroup : 定义字段映射组
• Node : 处理同步过程的工作节点，对应一个jvm——

otter的S/E/T/L stage阶段模型

说明：为了更好的支持系统的扩展性和灵活性，将整个同步流程抽象为Select/Extract/Transform/Load，这么4个阶段.
Select阶段: 为解决数据来源的差异性，比如接入canal获取增量数据，也可以接入其他系统获取其他数据等。

相关实现介绍

• Otter数据入库算法 Otter数据一致性 * Otter扩展性