hadoop

hadoop

文章 899 浏览 342

HBase REST 过滤器(SingleColumnValueFilter)

我无法弄清楚如何在 HBase REST 接口(HBase 0.90.4-cdh3u3)中使用过滤器。该文档只是为我提供了“字符串”的模式定义,但没有显示如何使用它。 因此…

衣神在巴黎 2025-01-06 04:37:43 2 0

Hadoop DistributedCache 无法报告状态

在 Hadoop 作业中,我映射多个 XML 文件并过滤每个元素的 ID (来自 -tags)。由于我想将作业限制为一组特定的 ID,因此我读取了一个大文件(2.7 GB …

逆流 2025-01-06 04:05:39 2 0

启动 hbase 时找不到 JAVA_HOME。有什么建议吗?

我只是在玩 hbase(在 EC2 上),当我启动它时遇到问题。这是我得到的: [root@domU-12-31-39-13-D6-62 ~]# sudo /etc/init.d/hadoop-hbase-master st…

唐婉 2025-01-05 21:47:59 1 0

关于Hadoop/HDFS文件分割

只是想确认一下。请验证这是否正确: 1.根据我的理解,当我们将文件复制到HDFS时,即文件(假设其大小> 64MB = HDFS块大小)被分割成多个块,并且每个…

阿楠 2025-01-05 19:14:31 1 0

$HADOOP_HOME 已弃用

我启动了一个 hadoop 集群。 我收到此警告消息:$HADOOP_HOME is deprecated 我已经将 export HADOOP_HOME_WARN_SUPPRESS="TRUE" 添加到 hadoop-env.s…

箹锭⒈辈孓 2025-01-05 16:08:46 1 0

NoSQL 架构白皮书

我想更好地了解 RabbitMQ、MongoDb、Node.Js 和 Hadoop 等技术如何整合到系统架构中以提供高可用性/可扩展性/性能。 谁能指导我找到此类信息的良好来…

终难遇 2025-01-05 15:22:27 2 0

Hadoop的单点故障可以通过集成Zookeeper来解决吗?

我正在寻找通过集成 Zookeeper 并允许 Hadoop 使用 Zookeeper 的命名空间来解决单点故障问题?是否可以?我们该如何解决这个问题 ?…

紫罗兰の梦幻 2025-01-05 15:22:03 1 0

将微观策略连接到 Hive

我在将微观策略连接到蜂巢时遇到问题。 我已遵循此处 我也阅读了微观策略的技术说明。我可以成功连接到端口 8020,但是当我运行查询时,出现 SQLget …

昔梦 2025-01-05 07:41:58 1 0

评估伪分布式节点上的 Hadoop 可扩展性性能?

是否有任何工具、包或方法可用于仅使用使用伪分布式架构的单台机器来估计/模拟 Hadoop 的可扩展性性能?这样的系统需要根据模拟中互不干扰的作业(例…

紫轩蝶泪 2025-01-05 06:26:50 0 0

如何为 PIG 或 HIVE 中的行添加行号?

我在使用 Apache Pig 添加行号时遇到问题。 问题是我有一个 STR_ID 列,我想为 STR_ID 中的数据添加一个 ROW_NUM 列,即 STR_ID 的行号。 例如,以下…

无法言说的痛 2025-01-05 05:52:18 1 0

在Python中使用Hadoop处理大型csv文件

我有一个巨大的 CSV 文件,想在 Amazon EMR (python) 上使用 Hadoop MapReduce 进行处理。 该文件有 7 个字段,但是,我只查看日期和数量字段。 "date…

赴月观长安 2025-01-05 02:36:11 1 0

使用 Hadoop 解析 xml 与 HTML 相比有多难或多容易?

与 HTML 相比,就可用的 API 而言,在 Hadoop 中解析 xml 文件是否很烦人?我正在做一个项目,我正在解析 xml 文件,将来必须转向 Hadoop 来做同样的…

战皆罪 2025-01-04 22:08:18 1 0

如何卸载Hadoop 1.0.0

我使用 Hadoop 2.0.2 设置 Hadoop 集群。然后,今天我尝试测试1.0.0。所以我从 Hadoop 网站下载了 deb 文件并安装了它:它确实搞乱了一切。 现在,当…

旧情别恋 2025-01-04 20:31:38 1 0

读/写时出错 (Hadoop)

我遵循了这个教程安装hadoop。好吧,如果我使用 \usr\local\hadoop 作为 hadoop.tmp.dir ,一切都会正常。因为我在这个分区中的空间很小,所以我尝试…

眼眸印温柔 2025-01-04 19:45:36 1 0

使用 Java 类作为映射器,使用 Python 脚本作为减速器

我正在尝试使用流式传输来运行hadoop。我有两个文件。一个是mapper的java文件,另一个是reducer的python脚本。 MerkleMapper.java MerkleMapper 类扩…

∝单色的世界 2025-01-04 19:22:17 1 0
更多

推荐作者

微信用户

文章 0 评论 0

小情绪

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

笨死的猪

文章 0 评论 0

彭明超

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文