删除 SSIS 数据流中的重复项
我正在执行 SSIS 数据流任务。
源表来自非规范化的旧数据库。
目标表已标准化。
SSIS 失败，因为由于重复（主键列中的重复）而无法进行数据传输。
如果 SSIS 可以检查目标当前记录的可用性（通过检查密钥），并且如果存在，则可以忽略推送它，那就太好了。然后就可以继续下一条记录了。
有办法处理这种情况吗？
I am working on an SSIS data flow task.
The source table is from old database which is denormalized.
The destination table is normalized.
SSIS fails because the data transfer is not possible because of duplicates (duplicates in primary key column).
It would be good if the SSIS can checks the destination for availability of current record (by checking the key) and if it exists , it can ignore pushing it. Then it can continue with the next record.
Is there a way to handle this scenario?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
假设您的目标表是源表的子集，您应该能够使用 排序转换仅拉入目标表所需的列，然后选中“删除具有重复排序值的行”，基本上根据您选择的列为您提供不同的记录列表。
然后，只需将排序结果路由到您的目的地，您就可以开始了。
Assuming your destination table is a subset of your source table, you should be able to use the Sort Transformation to pull in only the columns you need for your destination table, and then check the "Remove rows with duplicate sort values" to basically give you a distinct list of records based on the columns you selected.
Then, simply route the results of the sort to your destination, and you should be good to go.