HDFS

HDFS

文章 118 浏览 210

用于文件 I/O 的 Hbase。以及远程客户端连接HDFS的方法

在您阅读之前请注意,我的英语并不流利。 我是 NoSQL 新手,现在尝试使用 HBase 进行文件存储。 - 我会将文件以二进制形式存储在 HBase 中。 我不需要…

貪欢 2024-11-25 12:58:46 1 0

按现有字段对 Hive 表进行分区?

我可以在插入现有字段时对 Hive 表进行分区吗? 我有一个 10 GB 的文件,其中包含日期字段和一天中的小时字段。我可以将此文件加载到表中,然后插入覆…

谁把谁当真 2024-11-19 05:06:06 3 0

sqoop导入完成但hive显示表看不到表

安装hadoop、hive(CDH版本)后我执行 ./sqoop import -connect jdbc:mysql://10.164.11.204/server -username root -password password -table user …

命硬 2024-11-18 05:02:05 2 0

索引 HDFS 序列文件

索引非常大的序列文件(数百万个键/值对,其中每个值可以具有不同的长度,因此不能有随机访问方案)的最佳库/方法是什么?…

或十年 2024-11-17 19:44:58 3 0

检查HDFS目录大小的方法?

我知道常见 Linux 文件系统中的 du -sh。但是如何使用 HDFS 做到这一点呢?…

童话 2024-11-17 12:09:23 3 0

将大型 gzip 数据文件上传到 HDFS

我有一个用例,我想在 HDFS 上上传大的 gzip 压缩文本数据文件(~ 60 GB)。 我下面的代码大约需要 2 小时才能以 500 MB 的块上传这些文件。以下是伪…

一枫情书 2024-11-16 19:42:58 2 0

HBase 键值压缩?

感谢您对我的问题感兴趣。 在开始之前,我想让您知道我对 Hadoop 和 Hadoop 还很陌生。 HBase。到目前为止,我发现 Hadoop 非常有趣,并希望在未来做…

玩心态 2024-11-16 11:33:08 2 0

是否可以并行从多个客户端附加到 HDFS 文件?

基本上整个问题都在标题中。我想知道是否可以同时从多台计算机附加到位于 HDFS 上的文件?比如存储由多个进程不断产生的事件流。顺序并不重要。 我记…

东走西顾 2024-11-16 03:09:25 4 0

Hive - 从 zip 文件创建表

我有一堆 CSV 的 zip 文件,我想从中创建 Hive 表。我正在尝试找出最好的方法是什么。 解压文件,上传到HDFS。 有没有办法将文件复制到 HDFS,解压 或…

粉红×色少女 2024-11-15 23:46:26 1 0

HDFS 目录中允许的最大文件数是多少?

HDFS (hadoop) 目录中允许的最大文件和目录数是多少?…

千寻… 2024-11-15 19:40:29 2 0

从数据库导出数据并写入HDFS(hadoop fs)

现在我正在尝试从数据库表中导出数据,并将其写入hdfs。 问题是:名称节点会成为瓶颈吗?机制是怎样的,名称节点会缓存一个切片(64MB),然后将其交…

我很坚强 2024-11-14 13:29:06 1 0

Hadoop全分布式模式

我是 Hadoop 的新手。我已经成功开发了一个简单的 Map/Reduce 应用程序,该应用程序在“伪分布式模式”下运行良好。我想在“完全分布式模式”下测试它…

玩套路吗 2024-11-14 04:04:58 0 0

HadoopFS (HDFS) 作为分布式文件存储

我正在考虑使用 HDFS 作为我们的客户端视频托管服务的水平扩展文件存储系统。我主要担心 HDFS 并不是为了这种需求而开发的,这更像是“目前在需要处理…

蓝戈者 2024-11-10 01:16:56 1 0

输入格式是否负责在 Hadoop 的 MapReduce 中实现数据局部性?

我试图了解数据局部性,因为它与 Hadoop 的 Map/Reduce 框架相关。特别是我试图了解什么组件处理数据局部性(即它是输入格式?) 雅虎的开发者网络页…

初吻给了烟 2024-11-09 16:50:23 0 0

在不添加更多hdfs服务器的情况下添加更多hbase服务器是否有益?

我正在使用 Eucalyptus,并正在考虑将 hdfs 和 hbase 放在我们的节点控制器上。在我们的某些实例上运行 hbase 会提高性能吗?还是多余的?…

始于初秋 2024-11-09 04:13:22 1 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文