Python 未知模式查找

Question

好吧，基本上我想要的是通过重用代码来压缩文件，然后在运行时替换丢失的代码。我想出的方法确实很丑陋而且很慢，但至少它有效。问题是该文件没有特定的结构，例如“aGVsbG8=\n”，正如您所看到的，它是 base64 编码。我的函数非常慢，因为文件的长度超过 1700，并且它当时检查 1 个字符的模式。请帮助我编写更好的新代码，或者至少帮助我优化我得到的代码:)。任何有帮助的都欢迎！顺便说一句，我已经尝试过压缩库，但它们的压缩效果不如我丑陋的函数。

def c_long(inp, cap=False, b=5):
    import re,string
    if cap is False: cap = len(inp)
    es = re.escape; le=len; ref = re.findall; ran = range; fi = string.find
    c = b;inpc = inp;pattern = inpc[:b]; l=[]
    rep = string.replace; ins = list.insert
    while True:
        if c == le(inpc) and le(inpc) > b+1: c = b; inpc = inpc[1:]; pattern = inpc[:b]
        elif le(inpc) <= b: break
        if c == cap: c = b; inpc = inpc[1:]; pattern = inpc[:b]
        p = ref(es(pattern),inp)
        pattern += inpc[c]
        if le(p) > 1 and le(pattern) >= b+1:
            if l == []: l = [[pattern,le(p)+le(pattern)]]
            elif le(ref(es(inpc[:c+2]),inp))+le(inpc[:c+2]) < le(p)+le(pattern):
                x = [pattern,le(p)+le(inpc[:c+1])]
                for i in ran(le(l)):
                    if x[1] >= l[i][1] and x[0][:-1] not in l[i][0]: ins(l,i,x); break
                    elif x[1] >= l[i][1] and x[0][:-1] in l[i][0]: l[i] = x; break
                inpc = inpc[:fi(inpc,x[0])] + inpc[le(x[0]):]
                pattern = inpc[:b]
                c = b-1
        c += 1
    d = {}; c = 0
    s = ran(le(l))
    for x in l: inp = rep(inp,x[0],'{%d}' % s[c]); d[str(s[c])] = x[0]; c += 1
    return [inp,d]

def decompress(inp,l): return apply(inp.format, [l[str(x)] for x in sorted([int(x) for x in l.keys()])])

Answer 1

压缩 Base64 编码数据的最简单方法是首先将其转换为二进制数据 - 这将节省 25% 的存储空间：

>>> s = "YWJjZGVmZ2hpamtsbW5vcHFyc3R1dnd4eXo=\n"
>>> t = s.decode("base64")
>>> len(s)
37
>>> len(t)
26

在大多数情况下，您可以使用某种压缩算法进一步压缩字符串，例如 t.encode("bz2") 或 t.encode("zlib")。

关于您的代码的一些注释：有很多因素使代码难以阅读：不一致的间距、过长的行、无意义的变量名、不惯用的代码等。示例：您的 decompress()函数可以等效地写为

def decompress(compressed_string, substitutions):
    subst_list = [substitutions[k] for k in sorted(substitutions, key=int)]
    return compressed_string.format(*subst_list)

现在它的作用已经更加明显了。您可以更进一步：为什么 substitutions 是一个带有字符串键 "0"、"1" 等的字典？使用字符串而不是整数不仅很奇怪，而且根本不需要键！一个简单的列表就可以了，decompress() 将简化为

def decompress(compressed_string, substitutions):
    return compressed_string.format(*substitutions)

您可能认为所有这些都是次要的，但是如果您使代码的其余部分同样具有可读性，您将自己发现代码中的错误。 （有一些错误 - 对于 "abcdefgabcdefg" 和许多其他字符串，它会崩溃。）

Answer 2

通常，人们会通过针对文本优化的压缩算法来泵送程序，然后通过 exec 运行该程序，例如，

code="""..."""
exec(somelib.decompress(code), globals=???, locals=???)

可能是 .pyc/.pyo< /code> 文件已被压缩，可以通过使用 x="""aaaaaaaa""" 创建一个文件进行检查，然后将长度增加到x="""aaaaaaaaaaaaaaaaaaaaaaa...aaaa""" 并查看大小是否明显变化。