关于内外网数据库同步方案

Question

目前情况如下：
    内网项目，数据来源都在外网数据库，因特开端口，所以可访问，只需定时将外网数据库同步在内网，只需要两张表，一张表字段大约为200（外网），内网字段10个，结果都是在程序算的，然后导入至内网，但是外网数据库时常抽风，可能导到一半就宕了，下次只能重新导入，外网数据库表中没有唯一主键标识，都是业务字段(有唯一值)，现在就是想方案，如何保证外网数据库宕机情况下，下次再次导入的时候不会重复导入数据，外网为阿里云大数据分析库，内网为SQLServer，现在为了规避风险我都手导，但是时间成本太高了。,所以来询问下各位有没有什么好的方案，比如叫什么断点续传类的。

Answer 1

源数据我们只有查询权限，每天都会更新，我们现在想的是按月同步，数据量比较大，源数据亿级别的，同步数据一个月的大概是几十万条，而且不能做过大的操作。

Answer 2

1、加唯一性约束；2、需要稍微考虑下来源数据是否会更新：replace into db.tb 或者不太友好的方式：insert ignore into db.tb where ...

Answer 3

看到了ADS只支持写，我在研究研究

Answer 4

回复
Datax效率很高，应该可以自己开发Reader