熊猫使用默认的非nan值与重叠的列名合并在一起

Question

有一个以CSV格式指定的表和一些配置列表。

我想从 configs 中使用默认配置，并在 tables 中覆盖它，如果需要，

configs = """  
schema|new_name
dbo|{table}
qa|test_{table}
"""

tables = """  
table|schema|new_name
employee|hr|{schema}_{table}
advertisers
users
"""

configs = pandas.read_csv(io.StringIO(configs), sep='|')  
tables = pandas.read_csv(io.StringIO(tables), sep='|')

我想交叉加入/merge/concatenate/compateNate/combine combine combine compline compline/combine ythem todef sughem togationframe。

final = """
table|schema|new_name

employee|hr|{schema}_{table}
advertisers|dbo|{table}
users|dbo|{table}

employee|hr|{schema}_{table}
advertisers|qa|test_{table}
users|qa|test_{table}
"""

如果未指定架构，请使用“ DBO”模式和“用户/广告商”表名。
如果指定模式，请使用“ HR”模式和“ HR_Employee”表名。

基本上 - 当2行带有重叠列名称的水平凸进时，请使用一个不是NAN的值创建一个列。

我应该使用什么熊猫命令？

Answer 1

编辑：

#cross join both DataFrames
df = tables.merge(configs, suffixes=('','_'), how='cross')

#get columns with suffix _
cols = df.columns[df.columns.str.endswith('_')]
#remove suffix
new = cols.str.strip('_')
#replace missing values from cols by _ colums
df[new] = df[new].fillna(df[cols].rename(columns=lambda x: x.strip('_')))
#remove columns with _
df = df.drop(cols, axis=1)
print (df)
         table schema          new_name
0     employee     hr  {schema}_{table}
1     employee     hr  {schema}_{table}
2  advertisers    dbo           {table}
3  advertisers     qa      test_{table}
4        users    dbo           {table}
5        users     qa      test_{table}