java 最好的 HBase 客户端 API 是什么
Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …
R 和 Hadoop 有关系吗？
R 和 Hadoop 有关系吗？据我了解，两者都用于大规模数据分析和计算。我还注意到 Google 和 Facebook 使用 R，Mapreduce 框架来自 Google，他们使用它…
从 JobTracker 上已完成的作业中获取 org.apache.hadoop.mapreduce.Job
我正在使用 org.apache.hadoop.mapreduce.Job 来创建/提交/运行 MR 作业（Cloudera3，20.2），完成后，在一个单独的应用程序中，我尝试让作业抓取计数…
Hadoop 与Bash：删除匹配范围的文件名
假设 HDFS 中有一个文件列表，具有公共前缀和递增后缀。例如， part-1.gz, part-2.gz, part-3.gz, ..., part-50.gz 我只想在目录中保留几个文件，比如…
如何再次覆盖/重用 Hadoop 作业的现有输出路径
当我每天运行 Hadoop 作业时，我想覆盖/重用现有的输出目录。 实际上输出目录将存储每天作业运行结果的汇总输出。 如果我指定相同的输出目录，则会出…
适用于图像和其他文档等 blob 的可扩展分布式文件系统
卡桑德拉& HBase 都不能有效地支持图像等 blob 的存储。直接存储在 HDFS 上会对 Namenode 造成压力。 Facebook 的 Haystack 不是开源的。那么 Lustre …
如何让 Hadoop 使用我系统上的所有核心？
我有一个32核的系统。当我使用 Hadoop 运行 MapReduce 作业时，我从未看到 java 进程使用超过 150% CPU（根据 top），并且通常保持在 100% 左右。它应…
hadoop-streaming：将输出写入不同的文件
这是在reducer中的场景 Reducer1 / Mapper - - Reducer2 \ ReducerN ，我想将数据写入不同的文件，假设reducer看起来像 def reduce(): for line in sy…
有人可以解释parallelpython 与hadoop 在不同服务器上分布python 进程吗？
我是使用多个 cpu 来处理作业的新手，想知道人们是否可以让我知道parallelpython（或任何类型的 python 模块）与 hadoop 流的优缺点？ 我有一个非常大…
使用 Hive 自定义输入格式
更新：好吧，事实证明，以下代码不起作用的原因是我使用的是较新版本的 InputFormat API (import org.旧的 apache.hadoop.mapred 与新的 import org.a…
HBase 获取单元格的所有带时间戳的值
我的 hbase 实例中有以下场景 hbase(main):002:0> create 'test', 'cf' 0 row(s) in 1.4690 seconds hbase(main):003:0> put 'test', 'row1', 'cf:a',…
将数据传入和传出 Elastic MapReduce HDFS
我编写了一个 Hadoop 程序，它需要在 HDFS 中进行某种布局，然后我需要从 HDFS 中获取文件。它可以在我的单节点 Hadoop 设置上运行，并且我渴望让它在…
通过从 SSH 中直接调用 Hadoop 来启动作业
我已经能够使用 elastic-mapreduce ruby 库很好地启动工作流程。现在我有一个实例，在其工作完成后仍然“活动”。我已经使用 SSH 登录并想开始另…
