平面文件中的 SSIS 列计数

Question

我正在尝试找到一种方法来计算来自平面文件的列数。实际上，我的所有列都连接在一个符号单元格中，并用“|”分隔,
经过各种尝试，似乎只有脚本任务可以处理这个问题。 有人可以帮助我吗？遗憾的是，我没有使用 C# 或 VB 脚本的经验。

多谢 为了更好地理解

，以下是我想要实现的输出。例如，包含来自 FF 的所有标头的单个单元格。问题是，为了得到这个结果，我在上一步（派生列）中手动附加了所有列名称，以便用“|”将它们连接起来分隔符。 现在，如果我的 FF 源布局发生变化，由于这个手动过程，它将不再工作。所以我想我必须使用一个脚本，它基本上返回变量中的列数（ header ），并且允许删除派生列 transfo 中的硬编码部分

Answer 1

这是一个非常古老的线程；然而，我偶然发现了类似的问题。内部有多种不同记录“格式”的平面文件。许多不同的格式，没有任何特定的顺序，这意味着一行中可能有 57 个字段，然后接下来的 1000 个字段中有 59 个字段，然后接下来的 10000 个字段中有 56 个字段，最后回到 57 个......好吧，我想你明白了。

由于缺乏更好的想法，我决定根据每行中的逗号数量来破坏该文件，然后使用每种类型的 SSIS 包导入不同的记录类型（现在聚集在一起）。

所以这个问题的答案就在那里，需要更多的代码来生成文件。

希望这可以帮助遇到同样问题的人。

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.IO;

namespace OddFlatFile_Transformation
{
    class RedistributeLines
    {
    /*
     * This routine opens a text file and reads it line by line
     * for each line the number of "," (commas) is counted
     * and then the line is written into a another text file
     * based on that number of commas found
     * For example if there are 15 commas in a given line
     * the line is written to the WhateverFileName_15.Ext
     * WhaeverFileName and Ext are the same file name and 
     * extension from the original file that is being read
     * The application tests WhateverFileName_NN.Ext for existance
     * and creates the file in case it does not exist yet
     * To Better control splited records a sequential identifier, 
     * based on the number of lines read, is added to the beginning
     * of each line written independently of the file and record number
     */
        static void Main(string[] args)
        {
            // get full qualified file name from console
            String strFileToRead;
            strFileToRead = Console.ReadLine();

            // create reader & open file
            StreamReader srTextFileReader = new StreamReader(strFileToRead);

            string strLineRead = "";
            string strFileToWrite = "";
            string strLineIdentifier = "";
            string strLineToWrite = "";
            int intCountLines = 0;
            int intCountCommas = 0;
            int intDotPosition = 0;
            const string strZeroPadding = "00000000";

            // Processing begins
            Console.WriteLine("Processing begins: " + DateTime.Now);

            /* Main Loop */
            while (strLineRead != null)
            {
                // read a line of text count commas and create Linde Identifier
                strLineRead = srTextFileReader.ReadLine();
                if (strLineRead != null)
                {
                    intCountLines += 1;
                    strLineIdentifier = strZeroPadding.Substring(0, strZeroPadding.Length - intCountLines.ToString().Length) + intCountLines;
                    intCountCommas = 0;
                    foreach (char chrEachPosition in strLineRead)
                    {
                        if (chrEachPosition == ',') intCountCommas++;
                    }

                    // Based on the number of commas determined above
                    // the name of the file to be writen to is established
                    intDotPosition = strFileToRead.IndexOf(".");
                    strFileToWrite = strFileToRead.Substring (0,intDotPosition) + "_";
                    if ( intCountCommas < 10)
                    {
                        strFileToWrite += "0" + intCountCommas;
                    }
                    else
                    {
                        strFileToWrite += intCountCommas;
                    }
                    strFileToWrite += strFileToRead.Substring(intDotPosition, (strFileToRead.Length - intDotPosition));

                    // Using the file name established above the line captured
                    // during the text read phase is written to that file

                    StreamWriter swTextFileWriter = new StreamWriter(strFileToWrite, true);
                    strLineToWrite = "[" + strLineIdentifier + "] " + strLineRead; 
                    swTextFileWriter.WriteLine (strLineToWrite);
                    swTextFileWriter.Close();
                     Console.WriteLine(strLineIdentifier);
               }
            }

            // close the stream
            srTextFileReader.Close();
            Console.WriteLine(DateTime.Now);
            Console.ReadLine();
        }
    }


}

Answer 2

请参考我在以下 Stack Overflow 问题中的回答。这些答案可能会让您了解如何加载包含不同列数的平面文件。

1. 以下问题中的示例读取包含由特殊字符 Ç (c-cedilla) 分隔的数据的文件。在您的情况下，分隔符是 竖线 (|)
   UTF-8 平面文件导入到 SQL Server 2008 时无法识别 {LF} 行分隔符

2. 示例如下问题读取一个 EDI 文件，其中包含具有不同列数的不同部分。包读取文件并将其与父子关系相应地加载到 SQL 表中。
   如何将具有标头和详细信息父子关系的平面文件加载到 SQL Server

根据这些答案中使用的逻辑，您还可以通过以下方式计算列数通过列分隔符 (Vertical Bar |) 拆分文件中的行。

希望有帮助。