生产环境使用datax同步数据至elasticsearch

Question

现在有个需求，将Mariadb作为ODS存储，elasticsearch作为DW，现在想采用datax做两者间的数据同步，Mariadb同步至es。
有真实使用经验的同学可以留下感受或者意见哈！

Answer 1

datax的话比较合适的是做离线的数据同步。如果需要进行在线实时的数据同步可以建议你使用CloudCanal。支持如下数据源类型的数据同步迁移。

1.MySQL->Redis 数据迁移、同步、校验
2.MySQL->ElasticSearch 数据迁移、同步、结构迁移
3.MySQL->RocketMQ 数据迁移、同步
4.MySQL->RabbitMQ 数据迁移、同步
5.MySQL->MySQL 数据迁移、同步、校验、订正、结构迁移
6.MySQL->PostgreSQL 数据迁移、同步、校验、结构迁移
7.PostgreSQL->PostgreSQL 数据迁移、同步、校验、结构迁移
8.PostgreSQL->MySQL 数据迁移、同步、结构迁移
9.Oracle->Oracle 数据迁移、同步、结构迁移
10.Oracle->PostgreSQL 数据迁移、同步、结构迁移
11.Oracle->MySQL 数据迁移、同步、结构迁移

1.MySQL->Greenplum 数据迁移、同步、校验、结构迁移
2.MySQL->ADB for MySQL 数据迁移、同步、结构迁移
3.MySQL->TiDB 数据迁移、同步、结构迁移
4.MySQL->Kudu 数据迁移、同步、结构迁移
5.MySQL->ClickHouse 数据迁移、同步、校验、结构迁移
6.MySQL->MongoDB 数据迁移、同步、结构迁移
7.PostgreSQL->Kudu 数据迁移、同步、结构迁移
8.Oracle->Kudu 数据迁移、同步、结构迁移
9.Oracle->TiDB 数据迁移、同步、结构迁移