Hadoop中如何处理每天增加的数据
在Hadoop中如何处理每天增加的数据: 例如: 第一天我可能在某个输入文件夹(例如hadoop/demo)中有100万个文件 第二天在同一个文件夹中,文件可能会…
eclipse 的 hadoop 插件
我从cloudera下载并设置hadoop-cdh3u2。在 hadoop-0.20.2-cdh3u2/src/contrib 中,我发现了一个名为“eclipse-plugin”的项目,我将其导入到 eclipse …
hadoop映射减少错误
当我在 Eclipse 错误中的地图缩减环境中运行 hadoop 时,我遇到一些错误, 在“刷新 DFS 子级”期间发生内部错误。 org.eclipse.team.internal.ccvs.s…
使用loadfunc pig UDF将protobuf格式文件加载到pig脚本中
我对猪的了解很少。我有 protobuf 格式的数据文件。我需要将此文件加载到 Pig 脚本中。我需要编写一个 LoadFunc UDF 来加载它。说函数是Protobufloade…
如何在hadoop中设置mapreduce位置?
我是 Apache hadoop 的新手。我安装了必备软件并配置了所有事情,并且 Eclipse 插件也完成了,但是当我单击新的 hadoop 位置时它不起作用。任何人都可…
Mapper类型不是通用的,hadoop eclipse插件
我正在使用 eclipse 编写mapreduce 程序。我导入了hadoop库 (hadoop-0.13.0-core.jar) 我导入了Mapper类 import org.apache.hadoop.mapred.Mapper; …
评估和比较 Hadoop 的商业智能设计注意事项
我正在考虑数据仓库和商业智能的各种技术,并且发现了这个名为 Hadoop 的激进工具。 Hadoop 似乎并不完全是为了 BI 目的而构建的,但有一些参考资料表…
如何配置hive服务器以远程模式运行?
我将 hive 包添加到我的 hadoop 集群中。如果我进入 hive cli,我可以在远程模式下运行 hive。但是通过 hive 服务器的查询以本地模式运行,这非常慢..…
从eclipse访问Hadoop集群
我只是按照 Hadoop(0.20.2) 安装教程进行了设置。我可以通过eclipse在集群上运行map reduce程序。现在我的问题是如何从本地系统连接到 Hadoop 集群。…
在 Hadoop 流中链接多个 MapReduce 任务
我所处的场景是我有两个 MapReduce 作业。我对 python 更熟悉,并计划使用它来编写 mapreduce 脚本,并使用 hadoop 流来实现同样的目的。当使用hadoop…
Hadoop 任务调度程序:容量 vs 公平共享还是其他?
背景 我的雇主正在逐步将我们的资源密集型 ETL 和后端处理逻辑从 MySQL 转移到 Hadoop(dfs 和 hive)。目前,一切仍然较小且易于管理(10 个节点 20 …
- 共 1 页
- 1