加载大型 Visual FoxPro 文件非常慢。 C#(OleDB)

Question

我想将大型 .DBF (Visual FoxPro) 文件加载到数据表中。 对于较小的文件 < 300MB，它可以很好地使用填充命令，并且运行速度相当快。 但对于较大的文件，我的内存不足，需要将它们加载到较小的部分。 （加载行0...1000，然后1001..2000等等）

根据在互联网上找到的一些代码我做了这个操作，输入start是开始读取的行，max是我想要的行数阅读。

问题是，即使我只想读取 5 行，由于 Command.ExecuteReader 的执行速度非常慢，在我的机器上也需要大约 30-60 秒。

  public DataTable LoadTable2(string folder, string table, int start, int max)
  {
        string ConnectionString = "Provider=vfpoledb.1;Data Source="+folder+"\\"+table;
        OleDbConnection Connection = new OleDbConnection(ConnectionString);
        Connection.Open();
        string dataString = String.Format("Select * from {0}", table);
        OleDbCommand Command = new OleDbCommand(dataString, Connection);
        //Takes very long time on large files.
        OleDbDataReader Reader = Command.ExecuteReader(CommandBehavior.SequentialAccess);
        DataSet ds = new DataSet();
        var dt = ds.Tables.Add(table);
        // Add the table columns. 
        for (int i = 0; i < Reader.FieldCount; i++)
        {
           dt.Columns.Add(Reader.GetName(i), Reader.GetFieldType(i));
        }
        int intIdx = 0;
        int cnt = 0;
        while (Reader.Read())
        {
           if (intIdx >= start)
           {
              DataRow r = dt.NewRow();
              // Assign DataReader values to DataRow.  
              for (int i = 0; i < Reader.FieldCount; i++)
                 r[i] = Reader[i];
              dt.Rows.Add(r);
              cnt++;
           }
           if (cnt >= max)
           {
              break;
           }
           intIdx++;
        }
        Reader.Close();
        Connection.Close();
        return dt;
  }

我已经测试了 OLE 和 ODBC 连接，没有太大区别。 文件全部在本地磁盘上。

有谁知道如何使其更快？

此致 安德斯

Answer 1

我相信使用该驱动程序（VFPOLEDB），您可以更改查询以指定感兴趣的记录号。这样就不需要阅读一堆记录才能到达起点。这样就没有必要跳过任何记录；只需读取整个请求的结果集。查询可能如下所示：

SELECT * from thetable where recno() >= 5000 and recno() <= 5500

我意识到我已经安装了这个驱动程序，并且刚刚对其进行了测试，它确实可以工作。但是，我不认为它“优化”了该声明。理论上，它可以使用记录号直接计算记录偏移量，但是（基于对较大 dbf 查询的简单观察），它似乎进行了全表扫描。但是，使用 FoxPro，您可以在 recno() 上创建索引，然后对其进行优化。