python tokenize 中的错误？

Question

为什么这个

if 1 \
and 0:
    pass

最简单的代码会在 tokenize/untokenize 循环中阻塞

import tokenize
import cStringIO

def tok_untok(src):
    f = cStringIO.StringIO(src)
    return tokenize.untokenize(tokenize.generate_tokens(f.readline))

src='''if 1 \\
and 0:
    pass
'''
print tok_untok(src)

它会抛出：

AssertionError:
File "/mnt/home/anushri/untitled-1.py", line 13, in <module>
  print tok_untok(src)
File "/mnt/home/anushri/untitled-1.py", line 6, in tok_untok
  tokenize.untokenize(tokenize.generate_tokens(f.readline))
File "/usr/lib/python2.6/tokenize.py", line 262, in untokenize
  return ut.untokenize(iterable)
File "/usr/lib/python2.6/tokenize.py", line 198, in untokenize
  self.add_whitespace(start)
File "/usr/lib/python2.6/tokenize.py", line 187, in add_whitespace
  assert row <= self.prev_row

是否有一种解决方法，无需修改要标记化的 src （似乎 \ 是罪魁祸首）

另一个失败的例子是如果没有换行符最后，例如 src='if 1:pass' 失败并出现相同的错误

解决方法： 但似乎使用 unkenize 不同的方式工作

def tok_untok(src):
    f = cStringIO.StringIO(src)
    tokens = [ t[:2] for t in tokenize.generate_tokens(f.readline)]
    return tokenize.untokenize(tokens)

，即不传回整个令牌元组，而只传回 t[:2]

尽管 python doc 表示跳过额外的参数

将令牌转换回 Python 源代码。可迭代对象必须返回 至少有两个元素的序列， 令牌类型和令牌字符串。 任何附加的序列元素是 被忽略。

Answer 1

是的，这是一个已知错误，并且人们对比该问题所附补丁更干净的补丁感兴趣。为更好的 Python 做出贡献的最佳时机；）