getQualificationScore 返回“QualificationType 不存在”对于基本资格类型（批准率等）

发布于 2024-09-28 10:18:09 字数 1791 浏览 9 评论 0原文

我从 Mechanical Turk HIT 中得到了一堆结果，我想尝试根据该工人的可信度对我的所有答案进行排名。为此，我试图从 MTurk 获取每个提交工作人员的接受率。

我使用 MTurk API QualificationRequirement 类型“Worker_PercentAssignmentsApproved”来执行此操作，其 type_id 为 000000000000000000L0。

为了获得工作人员的批准百分比评级，我调用 GetQualificationScore，这给我返回了一条非常愤怒的消息：

 <GetQualificationScoreResponse>
   <OperationRequest>
     <RequestId>e5a68cbf-f8a4-4fc6-8d47-8198a138fe12</RequestId>
   </OperationRequest>
   <Qualification>
     <Request>
       <IsValid>False</IsValid>
       <Errors>
         <Error>
           <Code>AWS.MechanicalTurk.QualificationTypeDoesNotExist</Code>
           <Message>
             QualificationType 000000000000000000L0 does not exist (1287717938474) 
           </Message>
         </Error>
       </Errors>
     </Request>
   </Qualification>
 </GetQualificationScoreResponse>

也许我遇到了一些格式问题并且调用了错误的方法。

为了测试这一点，我调用了 GetQualificationType （它采用类型的相同类型参数：(QualificationTypeId，资格类型的 ID，字符串))。

事情是这样的：效果很好。

所以，这是我的问题：亚马逊是否不允许访问为请求者完成 HIT 的工人的基本资格/统计数据？或者有没有一种方法可以获取我没有想到的数据？

注意我使用 boto 的稍微修改版本来进行这些调用，但发现 boto 对于这个特定的东西有缺陷/缺乏。此时我正在 +/- 处理 XML 调用级别。

原文

I've got a bunch of results from a Mechanical Turk HIT that I had done, and I want to try and rank all my answers by how trustworthy that Worker was. To do that, I'm trying to get each submitting worker's accept rate from MTurk.

I do this using the MTurk API QualificationRequirement type, "Worker_PercentAssignmentsApproved", whose type_id is 000000000000000000L0.

To get the worker's rating for percent approved, I call GetQualificationScore, which returns to me this very angry message:

 <GetQualificationScoreResponse>
   <OperationRequest>
     <RequestId>e5a68cbf-f8a4-4fc6-8d47-8198a138fe12</RequestId>
   </OperationRequest>
   <Qualification>
     <Request>
       <IsValid>False</IsValid>
       <Errors>
         <Error>
           <Code>AWS.MechanicalTurk.QualificationTypeDoesNotExist</Code>
           <Message>
             QualificationType 000000000000000000L0 does not exist (1287717938474) 
           </Message>
         </Error>
       </Errors>
     </Request>
   </Qualification>
 </GetQualificationScoreResponse>

Perhaps I had some formatting issues and was calling the method wrong.

To test that, I called GetQualificationType (which takes the same type of argument for the type: (QualificationTypeId, The ID of the Qualification type, String)).

Here's the thing: that works perfectly.

So, here's my question: Does Amazon just not permit access to base qualification/stats about workers that have done HITs for requesters? Or is there a way to get at this data that I haven't thought of?

Note I'm using a slightly-modified version of boto to make these calls, but have found boto to be buggy/lacking for this particular stuff. At this point I'm +/- working on the XML call level.

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

酒儿 2024-10-05 10:18:09

正确，您无法查询 Worker 的
系统直接获取资格。你
可以通过资格创建 HIT
基于系统的要求
资质不过如此。
目前唯一的聚集方式
有关 Worker 的具体数据是
分析您自己的 HIT 结果并
资格测试。您可以存储
您自己的分析结果
您自己创建并更新的品质
随着时间的推移，并将这些品质用作
质量要求的基础
你的点击率。你的点击率。

-DAN@AWS，Amazon，早在 2006 年就回答过这个问题。

所以，看起来这不能直接完成。悲伤的表情。