在数据迁移中传输大数据

Question

我们有一组应用程序，可将数据从一个系统传输到同一网络内的另一个系统。他们使用 WCF C#，并执行诸如连续传输一次 1000 个对象之类的操作。 （接收数据后，接收方应用程序通知发送方发送更多数据）

我想通过在给定时间内传输更多数据来优化流程，并且正在考虑以下 2 个选项中哪一个更好：

1. 显着增加传输量。越大越好，就像 50000 个对象一样。通过批量操作，这将减少每个数据从用户进程空间移动到网卡所花费的时间。

2. 使传输数量刚好小于1460，这是我们的网络路径MTU。例如，如果一个对象是 100 字节，则传输 12 个对象，为 http 和soap 标头留出一些余量。这将避免重新组装 TCP 段并加快接收速度。 （这样可以避免过多的RAM使用问题）

您能否告诉我哪个选项更好，或者我是否可以尝试其他想法来加速传输？

Answer 1

我认为你的问题不是传输到网卡的速度。

请告诉我们有关此数据迁移的更多信息
-- 它来自平面文件吗？
-- 您是否正在更改数据？
-- 另一端需要什么类型的数据？

我猜 - 但我希望你一定正在更改数据。如果您只需要移动数据，有许多快速方法可以移动大文件（例如 ftp 或其他一些标准）。

如果您正在更改数据，那么该过程可能会减慢您的速度 - 在您的程序上运行分析器并对其进行优化。