mssql或mysql大数据量（1500万到2000万左右）插入时查重
最近在弄一个图书信息管理系统，有一个表marc用来保存图书的信息，一共有20多个字段
在导入数据的时候要求根据其中的7个字段进行查重，数据量在1500万到2000万左右
目前使用的方法是，根据这7个字段创建一个键
在导入数据的时候客户端通过捕捉错误的方式来进行查重
现在想问的是有没有更好的解决方法，或者设置触发器对这种情况是否可行
因为数据全部导入之后索引太大了，现在想看看有没有其他方法可以避免这种情况
数据库 SQL server 2008R或者 MySql 5.8+都可以
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
可以七个字段相连获取hash值，然后建一个hash表，在数据库外自己去重