hadoop Streaming：如何查看应用程序日志？
我可以在 /usr/local/hadoop/logs 路径上查看所有 hadoop 日志 ，但在哪里可以查看应用程序级别日志？例如： mapper.py import logging def main(): l…
Hadoop - 为特定节点的映射器内的每个 map() 函数创建类的单个实例
我在java中为hadoop MapReduce有一个类似这样的类， public Class MyClass { public static MyClassMapper extends Mapper { static SomeClass someCl…
HBase 如何在集群中分配来自 MapReduce 的新区域？
我的情况是这样的：我有一个 20 节点的 Hadoop/HBase 集群，有 3 个 ZooKeepers。我通过 MapReduce 将 HBase 表中的数据处理到其他 HBase 表中。 现在…
服务器在辅助名称节点 docheckpoint 与名称节点期间返回 403
我正在集群上配置hadoop。 所有节点启动成功，但辅助节点 doCheckpoint 失败，日志如下： 2011-10-25 11:09:07,207 ERROR org.apache.hadoop.hdfs.ser…
如何让 Hive 与 bz2 一起工作？
由于 bz2 是可拆分的并且节省空间，因此我计划以 bzip2 格式存储表数据。 但它似乎无法识别压缩格式。 gzip 格式没问题。 我使用的代码如下所示： CRE…
平衡 HDFS 的想法 -> HBase 映射减少作业
对于客户，我一直在研究在 AWS EC2 上运行 Cloudera 风格的 hadoop 集群的短期可行性。在大多数情况下，结果都是预期的，逻辑卷的性能大多不可靠，也…
如何从java通过hdfs协议访问hadoop？
我找到了一种通过 hftp 连接到 hadoop 的方法，它工作正常，（只读）： uri = "hftp://172.16.xxx.xxx:50070/"; System.out.println( "uri: " + uri )…
如何将对象传递给Mapper和reducers
我有一个在 hadoop 上运行的应用程序。如何将对象传递给映射器和缩减器以处理数据。例如，我声明一个 FieldFilter 对象来过滤映射器中处理的行。过滤…
Hadoop 数据节点、名称节点、辅助名称节点、作业跟踪器和任务跟踪器
我是hadoop新手，所以我有一些疑问。如果主节点发生故障，hadoop 集群会发生什么情况？我们能否在没有任何损失的情况下恢复该节点？是否可以让一个辅…
hive 是否为每条记录实例化一个新的 UDF 对象？
假设我正在构建一个名为 StaticLookupUDF 的 UDF 类，该类必须在构建期间从本地文件加载一些静态数据。 在这种情况下，我想确保我复制的工作不会超过…
我们如何强制许多映射器读取hadoop中的一个特定文件（相同的数据）？
我想编写一个程序，让许多映射器读取一个 1 文件 是一个图，所有内容都在该图上进行处理，该文件约为 14 kb 如果我以正常方式运行，则只会为该文件映…
Hadoop：JPS 找不到已安装的 Java
我的配置是 hduser@worker1:/usr/local/hadoop/conf$ jps The program 'jps' can be found in the following packages: * openjdk-6-jdk * openjdk-7-…
