python分析2个日志文件

Question

我有 2 个大日志文件。我想查看设备是否在 a 中而不是 b 中，反之亦然（排除设备常见的行），文件看起来像这个示例。

_{04/09/2010,13:11:52,Authen OK,user1,默认组,00-24-2B-A1-08-88,29,10.1.1.1,(默认),,,,,, 13、EAP-TLS,,设备1,
04/19/2010,15:35:24,验证成功,user2,默认组,00-24-2B-A1-05-EA,29,10.1.1.2,(默认),,,,,,13,EAP -TLS,,设备2,
04/09/2010,13:11:52,验证成功,user3,默认组,00-24-2B-A1-08-88,29,10.1.1.3,(默认),,,,,,13,EAP -TLS,,device3,
04/19/2010,15:35:24,验证成功,user4,默认组,00-24-2B-A1-05-EA,29,10.1.1.4,(默认),,,,,,13,EAP -TLS,,device4,}

重申一下，我需要日志文件 a 中但不是 b 中、b 中但不是 a 中的每个设备的设备（字段 [-2]）和 IP（字段 [7]）

这是我到目前为止所做的，但看起来有点笨拙并且非常慢（每个文件大约有 400K 行）。我交叉引用了两次。有人可以建议一下效率吗？也许我使用了错误的逻辑？

chst={}
chbs={}
for i,line in enumerate(open('chst.txt').readlines()):
    line=line.split(',')
    chst[line[-2]+','+str(i)]=','.join(line)

for i,line in enumerate(open('chbs.txt').readlines()):
    line=line.split(',')
    chbs[line[-2]+','+str(i)]='.'.join(line)

print "these lines are in CHST but not in CHBS"
for a in chst:
    if a.split(',')[0] not in str(chbs.values()):
        line=chst[a].split(',')
        print line[-2], line[7]

print "\nthese lines are in CHBS but not in CHST"

for a in chbs:
    if a.split(',')[0] not in str(chst.values()):
        line=chbs[a].split(',')
        print line[-2], line[7]

Answer 1

您正在寻找对称差异 ：

chst = { ( line.split( "," )[ -2 ], line.split( "," )[ 7 ] ) for line in open( ... ) }
chbs = { ( line.split( "," )[ -2 ], line.split( "," )[ 7 ] ) for line in open( ... ) }

diff = chst ^ chbs

如果您需要不对称差异，请使用 -：

chst - chbs # tuples in chst but not in chbs
chbs - chst # tuples in chbs but not in chst

如果您需要实际行，而不是元组 ( device, IP )，您可以使用字典而不是集合：

chst = { ( line.split( "," )[ -2 ], line.split( "," )[ 7 ] ): line for line in open( ... ) }
chbs = { ( line.split( "," )[ -2 ], line.split( "," )[ 7 ] ): line for line in open( ... ) }

diff = chst.items( ) ^ bar.items( )

这之所以有效，是因为 dict.items( ) 返回一个 查看具有类似集合属性的项目。请注意，这在 Python 2.x 中称为 dict.viewitems( ) 。

Answer 2

第 9 行有一个错误，您正在执行 ='.'.join(line) 而不是 =','.join(line) ，即引号中的点而不是逗号。或者也许 chbs 中的行应该稍后用点而不是逗号来分割。

目前，如果 device7 is in chbs 但不在 chst 中有三行，脚本会告诉您三次，但您对问题的描述意味着您不需要知道它出现了多少次。您真的想要这样吗？或者单个报告可以多次出现吗？在这种情况下，您可以通过仅使用设备名称作为字典键并检查其他字典是否具有该键来简化它。

另外，此时您正在记录行号，但并未真正使用它们。如果您确实需要知道设备出现的次数，为什么不报告而不是计数呢？在这种情况下，当将设备密钥添加到字典时，首先检查它是否已经存在，如果是，则增加一个计数器（也许在另一个字典中也由设备名称键入）。