将字符串列表传递给map_async()

Question

我在 map_async 方面遇到了一个有趣的问题，我无法弄清楚。

我正在使用带有进程池的 python 多处理库。我正在尝试传递一个要比较的字符串列表以及一个要与使用 map_async() 的函数进行比较的字符串列表，

现在我有：

from multiprocessing import Pool, cpu_count
import functools

dictionary = /a/file/on/my/disk
passin = /another/file/on/my/disk

num_proc = cpu_count()

dictionary = readFiletoList(fdict)
dictionary = sortByLength(dictionary)

words = readFiletoList(passin, 'WINDOWS-1252')
words = sortByLength(words)

result = pool.map_async(functools.partial(mpmine, dictionary=dictionary), [words], 1000)

def readFiletoList(fname, fencode='utf-8'):
  linelist = list()
  with open(fname, encoding=fencode) as f:
    for line in f:
      linelist.append(line.strip())
  return linelist


def sortByLength(words):
  '''Takes an ordered iterable and sorts it based on word length'''
  return sorted(words, key=len)

def mpmine(word, dictionary):
  '''Takes a tuple of length 2 with it's arguments.

  At least dictionary needs to be sorted by word length. If not, whacky results ensue.
  '''
  results = dict()
  for pw in word:
    pwlen = len(pw)
    pwres = list()
    for word in dictionary:
      if len(word) > pwlen:
        break
      if word in pw:
        pwres.append(word)
    if len(pwres) > 0:
      results[pw] = pwres
  return results



if __name__ == '__main__':
  main()

字典和单词都是字符串列表。这导致只使用一个进程而不是我设置的数量。如果我去掉变量“words”中的方括号，它似乎会依次迭代每个字符串的字符并导致混乱。

我希望发生的是，从单词中取出 1000 个字符串并将它们传递到工作进程中，然后获取结果，因为这是一个可笑的并行任务。

编辑：添加更多代码以使发生的事情更加清晰。

Answer 1

好吧，其实这个问题是我自己想出来的。我只会在这里为可能遇到同样问题的其他人发布答案。我遇到问题的原因是因为 map_async 从列表中获取一项（在本例中是一个字符串），并将其输入到函数中，该函数需要一个字符串列表。所以它基本上将每个字符串视为字符列表。 mpmine 的更正代码是：

def mpmine(word, dictionary):
  '''Takes a tuple of length 2 with it's arguments.

  At least dictionary needs to be sorted by word length. If not, whacky results ensue.
  '''
  results = dict()
  pw = word
  pwlen = len(pw)
  pwres = list()
  for word in dictionary:
    if len(word) > pwlen:
      break
    if word in pw:
      pwres.append(word)
  if len(pwres) > 0:
    results[pw] = pwres
  return results

我希望这可以帮助其他面临类似问题的人。