如何编写子查询并使用“In” Hive 中的子句

Question

如何在 Hive 中使用 In 子句 我想在 Hive 中写这样的东西 从 y 中选择 x，其中 yz 按 x 顺序（从 y 中选择不同的 z）； 但我没有找到任何方法可以做到这一点.. 我在 Hive 0.7 中尝试了 In 子句，它抛出错误，我还尝试了 Find_in_Set .. 使用 find_in_set(yz,subquery) ..但是作业失败了。

我想在 Hive 上执行此操作。如果有人知道如何在 Hive 中执行此操作，请帮助我。

谢谢&问候， 阿图尔

Answer 1

您可以使用半连接(https://cwiki.apache.org/Hive/languagemanual-joins.html):

LEFT SEMI JOIN 以有效的方式实现相关的 IN/EXISTS 子查询语义。由于 Hive 目前不支持 IN/EXISTS 子查询，因此您可以使用 LEFT SEMI JOIN 重写查询。使用 LEFT SEMI JOIN 的限制是右侧表只能在连接条件（ON 子句）中引用，而不能在 WHERE 或 SELECT 子句等中引用。

SELECT a.key, a.value
  FROM a
  WHERE a.key in
   (SELECT b.key
    FROM B);

可以重写为：

   SELECT a.key, a.val
   FROM a LEFT SEMI JOIN b on (a.key = b.key)

Answer 2

Hive 0.13 现在支持 WHERE 子句中的 IN/EXISTS .. 问题 https:// issues.apache.org/jira/browse/HIVE-784 已在 4 年后得到解决:)

Answer 3

根据 https://cwiki.apache.org/confluence/display/Hive/LanguageManual +Select:

“Hive 不支持 WHERE 子句中的 IN、EXISTS 或子查询。”

您可能想看看：
https://issues.apache.org/jira/browse/HIVE-801

https://issues.apache.org/jira/browse/HIVE-1799

Answer 4

我正在使用 hive 版本 0.7.1 和 SELECT * FROM MYTABLE WHERE MYCOLUMN IN ('thisThing','thatThing');

我在列类型上对此进行了测试 STRING 所以我不确定这是否适用于所有数据类型，因为我注意到像上面提到的 Wawrzyniec 一样，Hive 语言手册说不支持它，而是使用 LEFT SEMI JOIN 但在我的测试中效果很好。

Answer 5

Hive 完美支持 IN ...它不支持 WHERE 子句中的子查询

自 4 年来 Facebook 工程师就有一个开放功能票证...
https://issues.apache.org/jira/browse/HIVE-784 ?focusedCommentId=13579059

Answer 6

假设 table t1(id,name) 和 table t2(id,name)

仅列出 t2 中存在的 t1 中的 id（基本上 < code>IN 子句）

hive>select a.id from t1 a left semi join t2 b on (a.id=b.id);

仅列出 t1 中仅存在于 t1 但不存在于 t2 的 id（基本上是 NOT IN 子句）

hive>select a.id from t1 a left outer join t2 b on(a.id=b.id) where b.id is null;

Answer 7

从 Hive 0.13 开始，Hive 确实支持 IN/EXISTS 语句，但有一些限制。请参考 https://cwiki.apache.org/confluence/display/Hive /LanguageManual+SubQueries 了解更多详细信息。