HDFS

HDFS

文章 118 浏览 213

HDFS在存储时是否对数据进行加密或压缩?

例如,当我将文件放入 HDFS 时, $ ./bin/hadoop/dfs -put /source/file input 文件在存储时是否压缩? 文件在存储时是否加密?是否有一个配置设置可…

定格我的天空 2024-12-05 06:25:45 6 0

如何从 HBase 获取图像

我的 HDFS 中有大约 1 Gig 的图像 .png 文件。任何人都可以建议我一种将这些图像的索引值存储在 HBase 中并通过查询 HBase 检索图像的方法。或者我如…

夜吻♂芭芘 2024-12-03 04:48:59 13 0

如何在hadoop中向公众公开任务跟踪器/作业跟踪器Web界面?

我正在尝试监视不同的集群节点,但每次我都必须 ssh -X 到该节点并启动浏览器来查看状态信息。 无论如何,有没有办法制作这些http://jobtracker:50030…

喜你已久 2024-12-02 23:14:56 3 0

运行Hadoop MapReduce,是否可以调用HDFS之外的外部可执行文件

在我的映射器中,我想调用 HDFS 之外的工作节点上安装的外部软件。这可能吗?最好的方法是什么? 我知道这可能会带走 MapReduce 的一些优势/可扩展性…

掩于岁月 2024-12-02 21:46:28 5 0

在 Hadoop 中设置压缩输出

什么时候该用、什么时候不该用 FileOutputFormat.setCompressOutput(conf, true);? 我听说它会压缩映射器输出。有没有可能压缩减速机侧的输出? (如…

凉薄对峙 2024-12-01 22:36:18 4 0

Apache Pig 权限问题

我正在尝试在我的 Hadoop 集群上启动并运行 Apache Pig,但遇到了权限问题。 Pig 本身可以正常启动并连接到集群 - 在 Pig shell 中,我可以通过我的 H…

橘味果▽酱 2024-12-01 13:28:27 10 0

忽略 Apache Hive 中外部表中的子目录

Hive 是否有设置或方法强制它在查询外部表时忽略子目录?我的表文件夹中有一个子目录,它不属于表数据的一部分,我想避免删除它或将文件复制到其他地…

娇柔作态 2024-11-30 16:58:33 6 0

并行复制到 HDFS

从 NFS 挂载实现并行复制到 hadoop 的最佳且快速的方法是什么? 我们有一个包含大量文件的挂载,我们需要将其复制到 hdfs 中。 一些选项: 以多线程方…

桃气十足 2024-11-29 13:37:05 4 0

NoSQL 上的文件 I/O - 特别是 HBase - 是否推荐?或不?

我是 NoSQL 新手,现在尝试使用 HBase 进行文件存储。我会将文件以二进制形式存储在 HBase 中。 我不需要任何统计数据,只需要文件存储。 推荐吗?我…

牵强ㄟ 2024-11-25 23:11:44 7 0

用于文件 I/O 的 Hbase。以及远程客户端连接HDFS的方法

在您阅读之前请注意,我的英语并不流利。 我是 NoSQL 新手,现在尝试使用 HBase 进行文件存储。 - 我会将文件以二进制形式存储在 HBase 中。 我不需要…

貪欢 2024-11-25 12:58:46 6 0

按现有字段对 Hive 表进行分区?

我可以在插入现有字段时对 Hive 表进行分区吗? 我有一个 10 GB 的文件,其中包含日期字段和一天中的小时字段。我可以将此文件加载到表中,然后插入覆…

谁把谁当真 2024-11-19 05:06:06 13 0

sqoop导入完成但hive显示表看不到表

安装hadoop、hive(CDH版本)后我执行 ./sqoop import -connect jdbc:mysql://10.164.11.204/server -username root -password password -table user …

命硬 2024-11-18 05:02:05 7 0

索引 HDFS 序列文件

索引非常大的序列文件(数百万个键/值对,其中每个值可以具有不同的长度,因此不能有随机访问方案)的最佳库/方法是什么?…

或十年 2024-11-17 19:44:58 5 0

检查HDFS目录大小的方法?

我知道常见 Linux 文件系统中的 du -sh。但是如何使用 HDFS 做到这一点呢?…

童话 2024-11-17 12:09:23 8 0

将大型 gzip 数据文件上传到 HDFS

我有一个用例,我想在 HDFS 上上传大的 gzip 压缩文本数据文件(~ 60 GB)。 我下面的代码大约需要 2 小时才能以 500 MB 的块上传这些文件。以下是伪…

一枫情书 2024-11-16 19:42:58 6 0
更多

推荐作者

櫻之舞

文章 0 评论 0

弥枳

文章 0 评论 0

m2429

文章 0 评论 0

野却迷人

文章 0 评论 0

我怀念的。

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文