使用 Whoosh 在 App Engine 上进行全文搜索

Question

我需要使用 Google App Engine 进行全文搜索。 我发现了该项目 Whoosh 只要我使用App Engine 开发环境...当我将应用程序上传到 App Engine 时，我收到以下 TraceBack。 对于我的测试，我使用该项目中提供的示例应用程序。 知道我做错了什么吗？

<type 'exceptions.ImportError'>: cannot import name loads
Traceback (most recent call last):
  File "/base/data/home/apps/myapp/1.334374478538362709/hello.py", line 6, in <module>
    from whoosh import store
  File "/base/data/home/apps/myapp/1.334374478538362709/whoosh/__init__.py", line 17, in <module>
    from whoosh.index import open_dir, create_in
  File "/base/data/home/apps/myapp/1.334374478538362709/whoosh/index.py", line 31, in <module>
    from whoosh import fields, store
  File "/base/data/home/apps/myapp/1.334374478538362709/whoosh/store.py", line 27, in <module>
    from whoosh import tables
  File "/base/data/home/apps/myapp/1.334374478538362709/whoosh/tables.py", line 43, in <module>
    from marshal import loads

这是我的 Python 文件中的导入。

# Whoosh ----------------------------------------------------------------------
sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), '..', 'utils')))
from whoosh.fields import Schema, STORED, ID, KEYWORD, TEXT
from whoosh.index import getdatastoreindex
from whoosh.qparser import QueryParser, MultifieldParser

预先感谢您的帮助！

Answer 1

应用程序引擎不支持 marshal 模块。 它在那里，但它是空的。 那个元帅在开发中正常工作。 环境已注册为问题。

请参阅文档。

您可以尝试以下方法来对元帅模块进行猴子修补。 在执行任何其他导入之前放置以下代码：

import pickle
import marshal
marshal.loads = pickle.loads
marshal.dumps = pickle.dumps # I assume it needs dumps also

我还没有尝试过这个，所以我完全不知道它是否会起作用！ 另请注意，pickle 加载/转储比 marshal 加载/转储慢。

Answer 2

请参阅此处的评论#71：
http://code.google.com/p/googleappengine/issues/detail?id=217&q=Whoosh&colspec=ID%20Type%20Status%20Priority%20Stars%20Owner%20Summary %20Log%20Component#c71：

这不是我的工具，但它说：

我通过移植 创建了全文搜索 api http://whoosh.ca/ 所以它是可用的
在 AppEngine 上。 （它将索引存储在数据存储中）

您可以从 http://github.com 下载它/tallstreet/Whoosh-AppEngine/tree/master

它包含 Whooshes 的所有功能，包括：

1 个 Pythonic API。
2 字段索引和搜索。
3 快速索引和检索
4 可插拔评分算法（包括BM25F）、文本分析、存储、发布
格式等
5 通过 pyparsing 解析的强大查询语言。
6 纯Python拼写检查器

Answer 3

这是有关实现全文搜索的官方示例：http: //code.google.com/p/guestbook-example-appengine-full-text-search/

我目前正在阅读它，因为我需要实现它，也许它也会对其他人有所帮助。

Answer 4

您也许可以通过下载并使用 Whoosh 版本 Whoosh-Appengine 来解决您的问题它专门针对与 Google App Engine 配合使用。