如何将数据从STDF文件传输到Python中的Pandas DataFrame

Question

我有一个来自STDF文件格式的数据，该格式正在测试机器输出文件格式，由半导体制造行业使用 我需要在Python中读取文件，并分析机器输出停机时间和其他详细信息上传到文件中 我在GitHub和其他平台上搜索了解决方案，Python中没有可用的无错误模块，也没有正确记录以使用现有模块实现代码

Answer 1

我建议 pystdf 。

从我的经验来看，该库完全没有错误，尽管大文件的性能有些慢。而且您仍然必须理解和整理所有记录以进行数据分析目的。

在下面使用示例（此片段将多个STDF文件读取到每种记录类型的PANDAS DataFrames中）。

import os
import pandas as pd
from io import StringIO
import pystdf.V4 as v4
from pystdf.IO import Parser
from pystdf.Writers import TextWriter


def stdf_to_dfs(filelist):
    ''' Takes a list of stdf files, and returns individual dataframes for each record type, separated per file.
    Also, prepends the line number from the atdf (as well as the source file).'''

    record_dfs = {}
    for file in filelist:
        filename = os.path.basename(file)
        p = Parser(inp=open(file, 'rb'))
        captured_std_out = StringIO()
        p.addSink(TextWriter(captured_std_out))
        p.parse()
        atdf = captured_std_out.getvalue()

        # prepend line number and source file name to captured_std_out so it can be sorted later
        # line number is 2nd field... 1st field is record_type
        atdf = atdf.split('\n')
        for n, l in enumerate(atdf):
            atdf[n] = l[:4] + str(n) + '|' + filename + '|' + l[4:]

        # read each record type into a seperate dataframe
        for record_type in v4.records:
            record_name = record_type.name.split('.')[-1].upper()
            curr = [line for line in atdf if line.startswith(record_name)]
            curr = '\n'.join(curr)
            if curr not in '':
                header_names = ['Record', 'LineNum', 'SourceFile'] + list(list(zip(*record_type.fieldMap))[0])
                if record_name not in record_dfs:
                    record_dfs[record_name] = pd.DataFrame()
                record_dfs[record_name] = pd.concat([record_dfs[record_name], pd.read_csv(
                    StringIO(curr), header=None, names=header_names, delimiter='|')])

    # drop empty record dataframes
    record_dfs = {k: v for k, v in record_dfs.items() if (v is not None)}

    return record_dfs

Answer 2

我编写了一个商业模块STDF QuickChange，该模块将STDF转换为更可用的格式，例如CSV。主要输出格式每行一排，每次测试一列。它不是Python，但您可以从Python执行它，然后加入Python加载CSV。如果您正在加载数据编号数据并需要限制，则可以将限制存储在第一行中。