使用BCP将SQL表转为delphi记录

Question

我有一个场景，我必须从 SQL 表中导出大约 500,000 条记录的数据，以便在 Delphi 应用程序中使用。数据将被加载到打包记录中。有没有一种方法可以使用 BCP 写入数据文件，类似于将记录写入文件。

截至目前，我正在使用此伪代码加载数据。

    // Assign the data file generated from BCP to the TextFile object.
    AssignFile(losDataFile, loslFileName);
    Reset(losDataFile);
    while not EOD(losDataFile) do
    begin
      // Read from the data file until we encounter the End of File
      ReadLn(losDataFile, loslDataString);

      // Use the string list comma text to strip the fields
      loclTempSlist.CommaText := loslDataString;

      // Load the record from the items of the string list.
      DummyRec.Name := loclTempSList[0];
      DummyRec.Mapped = loclTempSList[1] = 'Y';
    end;

为了方便起见，我在下面列出了虚拟记录的类型

    TDummyRec = packed record
      Name : string[255];
      Mapped : Boolean;
    end;

所以，我的问题是，是否可以将数据导出到二进制文件，而不是将数据导出到文本文件，以便我可以使用记录类型直接从文件中读取数据？

就像

   loclFileStream := TFileStream.Create('xxxxxx.dat', fmOpenRead or fmShareDenyNone);
   while loclFileStream.Position < loclFileStream.Size do
   begin
     // Read from the binary file
     loclFileStream.Read(losDummyData, SizeOf(TDummyRec));
     //-  -------- Do wat ever i want.
   end;

我没有太多使用 BCP 的经验一样。请帮我解决这个问题。

谢谢 终结者...

Answer 1

在您的记录中，string[255] 将创建一个固定大小的 Ansi 字符串（即所谓的shortstring）。这种类型显然已被弃用，并且不应在您的代码中使用。

使用 TFileStream 直接保存它会非常浪费空间（即使它可以工作）。每个记录将为每个名称存储 256 个字节。

使用string[255]（即所谓的shortstring）将对字符串进行隐藏转换，以便大多数访问它。所以这不是最好的选择，恕我直言。

我的建议是 使用动态数组，然后使用我们的开源类对其进行序列化/反序列化。对于您的存储，您可以使用动态数组。适用于 Delphi 5 至 XE2。您将能够在记录中使用字符串：

TDummyRec = packed record
  Name : string; // native Delphi string (no shortstring)
  Mapped : Boolean;
end;

在OP评论后编辑：

BCP只是一个用于导出的命令行工具> SQL 表中有很多行。所以恕我直言，BCP 不适合您的目的。

您似乎需要从 SQL 表导入很多行。

在这种情况下：

• 使用 shortstring 在任何情况下都会浪费内存，因此与使用好的 string 相比，您会更快地耗尽内存；
• 您可以尝试我们的开源类逐一检索所有数据行，然后使用这些数据填充您的记录：请参阅 SynDB 类 - 它比 ADO 更轻；然后，您将能够一一检索记录数据，然后使用我们的记录序列化函数创建一些二进制内容 - 或者尝试使用专用的更快引擎，例如我们的 SynBigTable;
• 有一些关于直接使用 Delphi 代码中的 BCP 使用的 OleDB 功能的文章这里 - 它是法语，但您可以使用谷歌翻译它和此处用于快速批量复制；包括完整的源代码。

Answer 2

你想将 SQL 表读入记录，我不知道你为什么要使用古老的分配文件。

您确实应该为您的数据库使用 TADOQuery（或合适的变体）。
在其中放入合理的 SQL 查询；类似：

SELECT field1, field2, field3 FROM tablename WHERE .....

如有疑问，您可以使用：

SELECT * FROM tablename

这将从表中选择所有字段。

以下代码将遍历所有记录和所有字段，并将它们保存在变体中，并将​​其保存在 FileStream 中。

function NewFile(Filename: string): TFileStream;
begin
  Result:= TFileStream.Create(Filename, fmOpenWrite);
end;

function SaveQueryToFileStream(AFile: TFileStream; AQuery: TADOQuery): boolean;
const
  Success = true;
  Failure = false;
  UniqueFilePrefix = 'MyCustomFileTypeId';
  BufSize = 4096;
var
  Value: variant;
  Writer: TWriter;
  FieldCount: integer;
  c: integer;
  RowCount: integer;
begin
  Result:= Success;
  try
    if not(AQuery.Active) then AQuery.Open

    FieldCount:= AQuery.Fields.Count;
    Writer:= TWriter.Create(AFile, BufSize);
    try
      Writer.WriteString(UniqueFilePrefix)
      //Write the record info first
      Writer.WriteInteger(FieldCount);
      //Write the number of rows
      RowCount:= AQuery.RecordCount;
      WriteInteger(RowCount);
      AQuery.First;
      while not(AQuery.eof) do begin
        for c:= 0 to FieldCount -1 do begin
          Value:= AQuery.Fields[c].Value;
          Writer.WriteVariant(Value);
        end; {for c}
        AQuery.Next;
      end; {while}
    except 
      Result:= failure;
    end;
  finally
    Writer.Free;
  end;
end;