并行性或 PLINQ 与 Postgres 和 Npgsql

Question

我有一个包含超过 12,000,000 行的 Posrgres 9.04 数据库表。

我需要一个程序来读取每一行，进行一些计算和查找（针对第二个表），然后使用这些计算的结果在第三个表中写入新行。完成后，第三个表将具有与第一个表相同的行数。

在 Core i7 720QM 处理器上串行执行需要超过 24 小时。它只对我的 8 个核心之一（4 个物理核心，但 8 个通过 HTT 对 Windows 7 可见）进行征税。

我想通过并行性来加快速度。我以为我可以使用 PLINQ 和 Npgsql：

NpgsqlDataReader records = new NpgsqlCommand("SELECT * FROM table", conn).ExecuteReader();
var single_record = from row in records.AsParallel()
             select row;

但是，我收到 records.AsParallel() 错误：找不到源类型“System.Linq.ParallelQuery”的查询模式的实现'。未找到“选择”。考虑显式指定范围变量“行”的类型。

我已经进行了大量的 Google 搜索，但我只是变得更加困惑。 NpgsqlDataReader 继承自 System.Data.Common.DbDataReader，后者又实现 IEnumerable，后者具有 AsParallel 扩展，看来正确的东西已经到位了？

我不清楚我什至可以做什么来显式指定范围变量的类型。看来最佳实践是不指定这一点。

我愿意切换到 DataSet，假设它与 PLINQ 兼容，但由于有 12,000,000 行，所以宁愿避免。

这甚至可以通过 Npgsql 实现吗？我需要使用 Devart 的 dotConnect for PostgreSQL 吗？

更新：刚刚发现 http://social.msdn.microsoft.com/Forums/en-US/parallelextensions/thread/2f5ce226-c500-4899-a923-99285ace42ae，这让我尝试这个：

foreach(IDataRecord arrest in
            from row in arrests.AsParallel().Cast <IDataRecord>()
            select row)

所以IDE 中目前还没有错误，但是这是构建此代码的正确方法吗？

Answer 1

这确实是解决方案：

foreach(IDataRecord arrest in
        from row in arrests.AsParallel().Cast <IDataRecord>()
        select row)

该解决方案的灵感来自于我在 http://social.msdn.microsoft.com/Forums/en-US/parallelextensions/thread/2f5ce226-c500-4899-a923-99285ace42ae#1956768e-9403-4671-a196-8dfb3d7070e3。我不清楚为什么需要强制转换和类型规范，但它有效。

编辑：虽然这不会导致语法或运行时错误，但实际上它不会使事情并行运行。一切仍然是序列化的。请参阅ConcurrentQueue 上的 PLINQ 不是多线程以获得卓越的解决方案。

Answer 2

您应该考虑使用 Greenplum。在 Greenplum 数据库中实现这一点很简单。免费版本没有任何限制，它的核心是 postgresql。