SQL Server 到 MySQL 数据传输

发布于 2024-11-29 14:09:16 字数 455 浏览 2 评论 0原文

我正在尝试将批量数据从 SQL Server 数据库恒定且连续地传输到 MYSQL 数据库。我想使用 SQL Server 的 SSMS 复制，但这显然仅适用于 SQL Server 到 Oracle 或 IBM DB2 的连接。目前，我们正在使用 SSIS 来转换数据并将其推送到 MYSQL 数据库中的临时位置并进行复制。我想要最快的数据传输方法，并且使多种方法变得复杂。

我计划采用一种新方法来转换数据，我确信这将解决大多数时间问题，但我想确保我们将来不会遇到时间问题。我已经设置了一个链接服务器，它使用 MYSQL ODBC 驱动程序在 SQL Server 和 MYSQL 之间进行通信。这看起来很慢。我有一些代码也使用 Microsoft 的 ODBC 驱动程序，但使用得很少，以至于我无法衡量性能。有谁知道这两个数据库之间的快速通信方式？我一直在研究 MYSQL 的数据提供程序，它们似乎与 OleDB 层进行通信。我不太确定该相信什么以及该走哪条路，有什么想法吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

女中豪杰 2024-12-06 14:09:16

过去我使用 Java 中的 jdbc-odbc 桥来完成此操作，但通过 ODBC 的性能不是很好。我建议查看类似 http://jtds.sourceforge.net/ 的东西，它是一个纯 Java 驱动程序您可以将其放入一个简单的 Groovy 脚本中，如下所示：

import groovy.sql.Sql
sql = Sql.newInstance( 'jdbc:jtds:sqlserver://serverName/dbName-CLASS;domain=domainName',     
'username', 'password', 'net.sourceforge.jtds.jdbc.Driver' )
sql.eachRow( 'select * from tableName' ) { 
  println "$it.id -- ${it.firstName} --" 
  // probably write to mysql connection here or write to file, compress, transfer, load
}

以下性能数字让您了解它的执行情况：
http://jtds.sourceforge.net/benchTest.html

您可能会发现一些性能优势将数据转储为 mysql dumpfile 格式并使用 mysql loaddata 而不是逐行写入。如果您加载 infile 并执行诸如原子表交换之类的操作，MySQL 对于大型数据集会有一些显着的性能改进。

我们使用类似的方法将大型数据文件从一个系统快速加载到 mysql 到另一个系统，例如，这是将数据加载到 mysql 的最快机制。但实时逐行可能是在 groovy + 一些表中执行的一个简单循环，以跟踪已移动的行。

mysql> select * from table into outfile 'tablename.dat';  

shell> myisamchk --keys-used=0 -rq '/data/mysql/schema_name/tablename'

mysql> load data infile 'tablename.dat' into table tablename;

shell> myisamchk -rq /data/mysql/schema_name/tablename

mysql> flush tables;
mysql> exit;

shell> rm tablename.dat

I used the jdbc-odbc bridge in Java to do just this in the past, but performance through ODBC is not great. I would suggest looking at something like http://jtds.sourceforge.net/ which is a pure Java driver that you can drop into a simple Groovy script like the following:

import groovy.sql.Sql
sql = Sql.newInstance( 'jdbc:jtds:sqlserver://serverName/dbName-CLASS;domain=domainName',     
'username', 'password', 'net.sourceforge.jtds.jdbc.Driver' )
sql.eachRow( 'select * from tableName' ) { 
  println "$it.id -- ${it.firstName} --" 
  // probably write to mysql connection here or write to file, compress, transfer, load
}

The following performance numbers give you a feel for how it might perform:
http://jtds.sourceforge.net/benchTest.html

You may find some performance advantages to dumping data to a mysql dumpfile format and using mysql loaddata instead of writing row by row. MySQL has some significant performance improvements for large data sets if you load infile's and doing things like atomic table swaps.

We use something like this to quickly load large datafiles into mysql from one system to another e.g. This is the fastest mechanism to load data into mysql. But real time row by row might be a simple loop to do in groovy + some table to keep track of what row had been moved.

mysql> select * from table into outfile 'tablename.dat';  

shell> myisamchk --keys-used=0 -rq '/data/mysql/schema_name/tablename'

mysql> load data infile 'tablename.dat' into table tablename;

shell> myisamchk -rq /data/mysql/schema_name/tablename

mysql> flush tables;
mysql> exit;

shell> rm tablename.dat

回复收藏 0 原文