sqoop导入时与在hive中创建表相关的查询
我正在尝试将 sqoop 从 SQL Server 导入到 Hive 中。 当我执行 sqoop-import 命令时,问题是导入任务已完成, 我可以看到HDFS上的完整数据(在/user/h…
如何让hive同时运行mapreduce作业?
我是 hive 的新手,遇到了一个问题, 我在 hive 中有一个像这样的表: create table td(id int, time string, ip string, v1 bigint, v2 int, v3 int,…
优化 Hadoop Hive 中的几 GB 数据
我现在已经相当广泛地使用 Hive,我想知道是否有办法改进以下工作流程。 每天晚上,Oracle 集群中的制表符分隔的未压缩文本文件转储都会写入 HDFS,由…
Amazon MapReduce Hive 调用简单队列服务
我是亚马逊 MapReduce 的新手。谁能告诉我如何轻松地从 Hive 作业向 Amazon 的 SQS(简单队列服务)提交消息?我想将指向我作业的 S3 结果的指针放入 …
hive 是否支持结构体中的可选字段
thrift 确实支持结构中的可选字段 struct Name { 1: string firstname, 2: optional string middlename, 3: string lastname, } ,但是 hive 支持创建…
hive 显示给出错误的表
我在运行配置单元时遇到以下错误。我只是使用默认的 derby 数据库。 我正在使用以下 hadoop 版本 root@edmg-u10:~/dse-1.0.1/bin# dse hadoop version…
如何在自定义地图和自定义地图的帮助下实现连接Hive 中的自定义缩减脚本
我是 Hive 的新手,我正在尝试在 Hive 中执行任务。 我知道我们可以在 hive 中创建映射脚本和化简脚本,但我对映射脚本和化简脚本中包含哪些内容感到…
如何在hive中将ansi转换为utf8
我想在配置单元中使用自定义输入格式,我在这里找到代码: https://github.com/msukmanowsky/OmnitureDataFileInputFormat 但是当我完成测试代码时,…
运行 hive 查询时出错
我正在尝试运行 hive 查询,但收到错误如下: hive> FROM ( > FROM t1 > MAP t1.patient_mrn, t1.encounter_date > USING 'retrieve' > AS mp1, mp2 >…
如何在hive中将mapreduce任务的数量设置为1
我尝试在 hive 中执行以下操作 - set hive.exec.reducers.max = 1; set mapred.reduce.tasks = 1; from flat_json insert overwrite table aggr_pgm_m…
是否可以使用 Whirr 在 EC2 上创建包含 Hbase、Hive 和 Pig 的 Hadoop 集群
是否可以使用 Whirr 在 Amazon EC2 上创建一个包含 Hbase、Hive 和 Pig 的 Hadoop 集群?…