如何在不删除源文件的情况下从HDFS加载数据到hive？

Question

当使用命令将数据从 HDFS 加载到 Hive 时

LOAD DATA INPATH 'hdfs_file' INTO TABLE tablename;

，看起来像是将 hdfs_file 移动到 hive/warehouse 目录。 是否可以（如何？）复制它而不是移动它，以便该文件被另一个进程使用。

Answer 1

从你的问题来看，我假设你的数据已经存在于 hdfs 中。
因此，您不需要LOAD DATA，这会将文件移动到默认配置单元位置/user/hive/warehouse。您可以使用 external 关键字简单地定义表，这会将文件保留在原位，但会在 hive 元存储中创建表定义。参见这里：
创建表 DDL
例如：

create external table table_name (
  id int,
  myfields string
)
location '/my/location/in/hdfs';

请注意，您使用的格式可能与默认格式不同（如 JigneshRawal 在评论中提到的）。您可以使用自己的分隔符，例如使用 Sqoop 时：

row format delimited fields terminated by ','

Answer 2

我发现，当您同时使用 EXTERNAL TABLE 和 LOCATION 时，Hive 会创建表，并且最初不会出现任何数据（假设您的数据位置与 Hive 'LOCATION' 不同）。

当您使用 'LOAD DATA INPATH' 命令时，数据从数据位置移动（而不是复制）到您在创建 Hive 表时指定的位置。

如果创建 Hive 表时未指定位置，它将使用内部 Hive 仓库位置，并且数据将从源数据位置移动到内部 Hive 数据仓库位置（即 /user/hive/warehouse/）。

Answer 3

可以使用“加载数据”的替代方案，其中数据不会从现有源位置移动到 Hive 数据仓库位置。

您可以使用带有“LOCATION”选项的 ALTER TABLE 命令。下面是所需的命令

ALTER TABLE table_name ADD PARTITION (date_col='2017-02-07') LOCATION 'hdfs/path/to/location/'

，这里唯一的条件是，位置应该是目录而不是文件。

希望这能解决问题。