hive 中的分区列

Question

我必须使用也是表一部分的列对 hive 中的表进行分区。

例如：

表：员工

列：员工Id、员工名称、员工Salary

我必须使用employeeSalary 对表进行分区。 所以我编写了以下查询：

 CREATE TABLE employee (employeeId INT, employeeName STRING, employeeSalary INT) PARTITIONED BY (ds INT); 

我在这里只使用了名称“ds”，因为它不允许我输入相同的名称employeeSalary。

我正在做的事情对吗？另外，在将值插入表中时，我必须使用逗号分隔的文件。现在该文件由如下行组成： 2019，约翰，2000

作为一排。 如果我必须使用工资进行分区，我的第一个分区将是工资为 2000 的所有人。因此，查询将

LOAD DATA LOCAL INPATH './examples/files/kv2.txt' OVERWRITE INTO TABLE employee PARTITION (ds=2000);

再次在 100 个工资为 2000 的条目之后，我有接下来的 500 个工资为 4000 的条目。 所以我会再次发出查询：

LOAD DATA LOCAL INPATH './examples/files/kv2.txt' OVERWRITE INTO TABLE employee PARTITION (ds=4000);

请让我知道我是否正确......

Answer 1

以下是如何创建一个在您指定的列上进行分区的 Hive 表。

CREATE TABLE employee (employeeId INT, employeeName STRING) PARTITIONED BY (employeeSalary INT);

分区列在 PARTITIONED BY 部分中指定。
在 Hive shell 中，您可以运行describeemployee;，它将显示表中的所有列。使用CREATE TABLE，您应该看到 4 列，而不是您想要获取的 3 列。

对于加载命令，您需要指定要写入的所有分区。 （我对这些不太熟悉，主要基于 http://wiki .apache.org/hadoop/Hive/LanguageManual/DML#Syntax

所以像

LOAD DATA LOCAL INPATH './examples/files/kv2.txt' OVERWRITE INTO TABLE employee PARTITION (employeeSalary=2000, employeeSalary=4000);

Answer 2

以下是 hive 中分区表的工作原理：
1）分区列数据/值不存储在仓库中的实际数据文件中，而是存储在hive元存储中。

2）所以hive仓库目录下的数据文件中不应该有分区列数据。

对于您的问题，这些应该是步骤。

1)

创建表employee (employeeId INT, employeeName STRING) PARTITIONED BY (employeeSalary INT)，存储为<您选择的格式>;

这将在您已创建表的 hive 元存储中创建一个条目有2列employeeId INT、employeeName STRING，并且有一个分区列employeeSalary INT。

2）创建一个临时表，比如emp_temp。

CREATE TABLE emp_temp (employeeId INT, employeeName STRING,employeeSalary INT ) stored as text; 

我假设您的输入文件是文本格式。

3）复制 emp_temp 表的仓库位置中的所有文件或运行以下查询（我假设您在 ./example/files 文件夹中拥有所有数据文件。）

LOAD DATA LOCAL INPATH './examples/ files/*.txt' 覆盖到表 emp_temp。

4）现在运行以下 hql （这将为您动态创建分区）

 INSERT OVERWRITE TABLE employee partition(employeeSalary) 
   SELECT employeeId , employeeName , employeeSalary 
   from emp_temp

谢谢，
阿迪亚

Answer 3

也许，我认为，你应该首先将所有数据加载到一张表中，然后使用 Hive 扩展（多次插入）：

FROM from_statement
INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT          EXISTS]] select_statement1
[INSERT OVERWRITE TABLE tablename2 [PARTITION ... [IF NOT EXISTS]] select_statement2] 
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2] ...;
FROM from_statement
INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1
[INSERT INTO TABLE tablename2 [PARTITION ...] select_statement2] 
[INSERT OVERWRITE TABLE tablename2 [PARTITION ... [IF NOT EXISTS]] select_statement2] ...;

然后，如果你愿意，你可以

from big_data_table
insert overwrite table table1 partiton (ds=2000)
select * where employeeId>0 && employeeId<101>
insert overwrite table table2 partition (ds=4000)
select * where employeeId>=101&&employeeId<=600