从文件中获取可变子字符串长度的最快方法 (C#)

Question

我有一个文本文件，其中包含需要提取的值，并且每个值都是可变长度。每个变量的长度存储在 List 中，如果有更有效的方法，则可以更改。

问题：在给定长度的 List 的情况下，将可变长度子字符串放入 DataTable 的最快方法是什么？

示例文本文件内容：

Field1ValueField2ValueIsLongerField3Field4IsExtremelyLongField5IsProbablyTheLongestFieldOfThemAll
A1201605172B160349150816431572C16584D31601346427946121346E674306102966595346438476174959205395664

示例 List：

11, 19, 6, 21, 40

示例输出 DataTable：

Field 1	Field 2	Field 3	Field 4	Field 5
Field1Value	Field2ValueIsLonger	Field3	Field4IsExtremelyLong	Field5IsProbicallyTheLongestFieldOfThemAll
A1201605172	B160349150816431572	C16584	D31601346427946121346	E674306102966595346438476174959205395664

字段值没有模式，可以是任何字母数字值，只能通过长度列表获取字段值。

我的方法如下：

List<int> lengths = new() { 11, 19, 6, 21, 40};

DataTable dataTable = new();

//Add Columns for each field
foreach (int i in lengths)
{
    dataTable.Columns.Add();
}

//Read file and get fields
using (StreamReader streamReader = new(fileName))
{
    string line; //temp
    while ((line = streamReader.ReadLine()) != null)
    {
        //Create new row each time we see a new line in the text file
        DataRow dataRow = dataTable.NewRow();

        //Temp counter for starting index of substring
        int tempCounter = 0;

        //Enumerate through variable lengths
        foreach (int i in lengths)
        {
            //Set the value for tat cell
            dataRow[lengths.IndexOf(i)] = line.Substring(tempCounter, i);

            //Add the length of the current field
            tempCounter += i;
        }

        //Add Row to DataTable
        dataTable.Rows.Add(dataRow);
    }
}

是否有更有效（时间和/或内存）的方式来完成这项任务？

Answer 1

您正在生成该输入字符串或该长度数组吗？

如果是：

• 保存每个第N个字段起始字符的索引（如果您已经有长度数组，那么您也可以构建一个起始数组）
• 然后在解码时，使用多个线程一次解析多个索引点并将它们连接到目标上列表或数组（在我看来，数组必须更快，因为您有字段总数）

如果不是：

• 将每个遇到的字段开始推入队列（及其字段索引）并直接跳转到下一个字段，
• 由其他线程从队列中异步弹出元素，然后将它们按照索引放入列表中（数组可能更好如果总长度已知），

因为当您在同一个循环中进行提取和解析时，提取吞吐量会下降。因此，您应该将工作卸载到其他线程，也许一次使用 N 个字段，以容忍多线程同步延迟。

如果单线程提取比多线程解析太慢，那么您可以尝试向量化提取。一次启动 128 个字符采样器，检查它们是否找到前缀代码，并在它们之间进行归约以找到其中的第一个前缀（如果找到多个）。