Hive 中的更新、设置选项

Question

我知道 Hadoop 中没有文件更新，但在 Hive 中，可以使用语法糖将新值与表中的旧数据合并，然后使用合并的输出重写表，但如果我在另一个表中有新值那么我可以通过使用左外连接来达到相同的效果。

我的情况的问题是，我必须通过为具有某些 where 条件的列设置一个值来更新表。据了解，不支持SET。

例如，考虑下面的正常查询：

UPDATE temp1
SET location=florida
WHERE id=206;

我尝试在 Hive 中转换相同的查询，但我陷入了 SET 的位置。如果有人让我知道，那对我来说将是一个很大的帮助。

Answer 1

INSERT OVERWRITE TABLE _tableName_ PARTITION (_partitionColumn_= _partitionValue_) 
SELECT [other Things], CASE WHEN id=206 THEN 'florida' ELSE location END AS location, [other Other Things] 
FROM _tableName_ WHERE [_whereClause_];

您可以列出多个分区，并用逗号分隔它们。 ...分区（_partitionColumn_= _partitionValue1_、_partitionColumn_= _partitionValue2_、...）。我还没有对多个分区执行此操作，一次只执行一个，因此我会在一次执行所有分区之前检查测试/开发环境上的结果。我还有其他原因将每个OVERWRITE限制为单个分区。

此页面https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML 还有更多内容。
一般情况下，此网站 https://cwiki.apache.org/confluence/display/Hive/LanguageManual ，是您使用 HiveSQL 时最好的朋友。

我开发了与此相同的东西来迁移一些数据并且它有效。我还没有在大型数据集上尝试过它，只有几 GB 并且它运行得很好。

注意 - 这将覆盖分区。它将使以前的文件成为再见。创建备份和恢复脚本/过程。
[other Things] 和 [other Other Things] 是表中的其余列。它们需要按正确的顺序排列。这非常重要，否则您的数据将被损坏。

希望这有帮助。 :)

Answer 2

这可能有点hacky，但它对我在工作中必须做的事情很有用。

    INSERT OVERWRITE TABLE tabletop PARTITION(partname = 'valueIwantToSet')
    SELECT things FROM databases.tables WHERE whereclause;

正如您可能期望的那样，这会将您的数据分成多个分区，但是如果您要设置的值的分布与“良好的数据块大小”成正比（这取决于您的设计），那么对该数据的查询将会更好优化的

@Jothi：您能发布您使用的查询吗？