使用 java google app enginebulkloader.yaml 通过 __key__ 上的 export_transform 上传数据将 ID/NAME 列从 id（长）更改为 name（字符串）

Question

我认为我的问题类似于： BulkLoader -export_transform 或 https://stackoverflow.com/questions/3220911/gae-datastore-export-transform

基本上，我使用bulkloader来备份和恢复我创建的实体。 为了测试，我使用“Game”类型并将其输出到名为 game.csv 的 csv 文件。

这是我经历的过程：

1. 使用以下方法将游戏类型下载到 game.csv：

   appcfg.py download_data --config_file=bulkloader.yaml --kind=Game --filename=game.csv --application=MyAppId --url=http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

2. 删除所有游戏实体。然后，我检查了应用程序的管理门户数据存储查看器选项卡，发现数据存储中没有更多实体。

3. 使用创建的game.csv上传游戏类型（命令与download_data相同，但使用upload_data）：

   appcfg.py upload_data --config_file=bulkloader.yaml --kind=Game --filename=game.csv --application=MyAppId --url=http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

4. 运行一个按“名称”检索实体的 servlet（这是下面 Game.java 中显示的属性）。

出现以下错误：

Uncaught exception from servlet
java.lang.IllegalStateException: Loaded Entity has name but com.example.app.model.Game has no String @Id
    at com.googlecode.objectify.impl.ConcreteEntityMetadata.setKey(ConcreteEntityMetadata.java:343)
    at com.googlecode.objectify.impl.ConcreteEntityMetadata.toObject(ConcreteEntityMetadata.java:210)
    at com.googlecode.objectify.impl.QueryImpl$ToObjectIterator.translate(QueryImpl.java:640)
    at com.googlecode.objectify.impl.QueryImpl$ToObjectIterator.translate(QueryImpl.java:629)
    at com.googlecode.objectify.util.TranslatingIterator.next(TranslatingIterator.java:35)
    at com.googlecode.objectify.impl.QueryImpl.list(QueryImpl.java:470)

我怀疑这与我的 bulkloader.yaml 文件的 __key__ 属性配置不正确有关。因此，我将其发布在下面：

- import: google.appengine.ext.bulkload.transform
- import: google.appengine.ext.bulkload.bulkloader_wizard
- import: google.appengine.ext.db
- import: google.appengine.api.datastore
- import: google.appengine.api.users

transformers:

- kind: Game
  connector: csv
  connector_options:
    # TODO: Add connector options here--these are specific to each connector.
  property_map:
    - property: __key__
      external_name: key
      export_transform: transform.key_id_or_name_as_string

    - property: __scatter__
      #external_name: __scatter__
      # Type: ShortBlob Stats: 56 properties of this type in this kind.

    - property: genre
      external_name: genre
      # Type: String Stats: 6639 properties of this type in this kind.

    - property: name
      external_name: name
      # Type: String Stats: 6639 properties of this type in this kind.

    - property: releasedate
      external_name: releasedate
      # Type: Date/Time Stats: 6548 properties of this type in this kind.
      import_transform: transform.import_date_time('%Y-%m-%dT%H:%M:%S')
      export_transform: transform.export_date_time('%Y-%m-%dT%H:%M:%S')

在删除和上传数据之前，“游戏” 类型（在应用管理门户的数据存储查看器选项卡内）显示 ID/NAME< /code> 列，每个实体行都有类似于 ID=12345、ID=67890 ... 的超链接。

上传后，datastire 查看器会显示 ID/NAME 列，其中包含类似于 NAME=12345、NAME=67890 ... 的超链接。实体行。

---

可能的原因？

我实际上已经在 https:/ 上发布了我的问题/groups.google.com/forum/?hl=en#!topic/objectify-appengine/FFuB2Onfnzc，但我们不知道在以下情况下避免将 __key__ 属性转换为字符串的语法：上传回数据。

Jeff（Objectify3.0 的创建者）说：

错误消息表明数据存储中的数据为字符串名称 键，但您的游戏实体有一个数字 Long @Id。我真的不知道 批量加载器的语法，但最可疑的行是这一行：

export_transform: transform.key_id_or_name_as_string

看起来您正在将所有数字 id 转换为字符串， 这将是你的问题。将它们保留为数字。

我尝试删除 export_transform:transform.key_id_or_name_as_string 但当我下载时，csv 文件为空。

也许解决方案是避免使用 --config_file 参数和 bulkloader.yaml 文件，而只是让bulkloader下载/上传数据而不进行任何转换？

---

额外信息，以防可能相关

我正在使用 objectify3.0.jar 来操作我的 GAE 数据存储。所以我的游戏类型如下所示：

public class Game {
    @Id private Long id; //This is my key property, auto generated by objectify  
    private String name;
    private String genre; 
    private Date releasedate;

    //ommitting getters and setters 
}

Answer 1

我做了一些实验，我相信我有解决方案。

我实际上是从我问的另一篇 stackoverflow 帖子中得到这个想法的： 使用 Java Google App Engine 批量加载程序将整个数据存储区下载到一个 csv 文件

修复方法是避免使用 --config_file 和bulkloader.yaml。

我使用以下命令将每种类型下载到单个 csv 文件：

appcfg.py download_data --filename=backup.csv --application=MyAppId --url=http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

我使用以下命令将单个 csv 文件上传回数据存储：

appcfg.py upload_data --filename=backup.csv --application=MyAppId --url=http://MyAppId.appspot.com/remote_api --rps_limit=500 --bandwidth_limit=2500000 --batch_size=100

它们是相同的命令，但只是 download_data 和 upload_data< /code> 交换了。

这个想法只是让 appcfg 下载和上传所有实体（不是特定的），即不使用任何导出或导入转换。

Answer 2

为了避免在导入时将键中的 Id（整数）转换为 Name，请查看以下帖子：

Bulkloader：如何将transform.create_foreign_key()定义为int？