SSIS - PipelineComponent 中的 ProcessInput 被多次调用

Question

伙计们。 我正在为 SSIS 开发一个自定义组件。 我在处理输入时遇到问题。 问题是“ProcessInput”方法被执行多次。 在这种情况下两次。

这是流程输入片段：

public override void ProcessInput(int inputID, PipelineBuffer buffer)
{
    IDTSInput90 input = ComponentMetaData.InputCollection.GetObjectByID(inputID);
    if (input.InputColumnCollection.Count > 0)
    {
        while (buffer.NextRow())
        {
            try
            {
                for (int columnIndex = 0; columnIndex < input.InputColumnCollection.Count; columnIndex++)
                {

                    ColumnInfo columnInfo = _columnInfos[input.InputColumnCollection[columnIndex].ID];
                    IDTSInputColumn90 inputColumn = input.InputColumnCollection[columnIndex];
                    try
                    {
                        //write to destination
                    }
                    catch (Exception writeEx)
                    {
                        throw new Exception("Couldn't write to destination");
                    }
                }
            }
            catch (Exception ex)
            {
                throw ex;
            }
        }
    }
    else
    {
        throw new Exception("There is no columns in the input collection");
    }

}

我不知道为什么它被调用两次。 这是数据流：

数据流 http://img371.imageshack.us/img371/3001/ dataflowprocessinputrb6.png

这是映射窗口： 映射窗口 http://img78.imageshack.us/img78/3772/mappingprocessinputzs2.png< /a>

Answer 1

这是设计使然。 SSIS 以块的形式发送数据（SSIS 术语中的缓冲区），以优化内存使用。 缓冲区大小是有限的，因此SSIS不必将所有数据读入内存（否则SSIS将无法处理TB级数据）。 因此，您可以获得多个 ProcessInput 调用 - 每个缓冲区一个 ProcessInput 调用。

此外，您将得到一个空缓冲区，并且在最后将 EndOfRowset 标志设置为 true。 但不要依赖于此 - 这更多的是一个实现细节（最后一个缓冲区被记录为具有 EndOfRowset = true，但它没有被记录为空）。