HDFS在存储时是否对数据进行加密或压缩?
例如,当我将文件放入 HDFS 时, $ ./bin/hadoop/dfs -put /source/file input 文件在存储时是否压缩? 文件在存储时是否加密?是否有一个配置设置可…
如何从 HBase 获取图像
我的 HDFS 中有大约 1 Gig 的图像 .png 文件。任何人都可以建议我一种将这些图像的索引值存储在 HBase 中并通过查询 HBase 检索图像的方法。或者我如…
如何在hadoop中向公众公开任务跟踪器/作业跟踪器Web界面?
我正在尝试监视不同的集群节点,但每次我都必须 ssh -X 到该节点并启动浏览器来查看状态信息。 无论如何,有没有办法制作这些http://jobtracker:50030…
运行Hadoop MapReduce,是否可以调用HDFS之外的外部可执行文件
在我的映射器中,我想调用 HDFS 之外的工作节点上安装的外部软件。这可能吗?最好的方法是什么? 我知道这可能会带走 MapReduce 的一些优势/可扩展性…
在 Hadoop 中设置压缩输出
什么时候该用、什么时候不该用 FileOutputFormat.setCompressOutput(conf, true);? 我听说它会压缩映射器输出。有没有可能压缩减速机侧的输出? (如…
Apache Pig 权限问题
我正在尝试在我的 Hadoop 集群上启动并运行 Apache Pig,但遇到了权限问题。 Pig 本身可以正常启动并连接到集群 - 在 Pig shell 中,我可以通过我的 H…
NoSQL 上的文件 I/O - 特别是 HBase - 是否推荐?或不?
我是 NoSQL 新手,现在尝试使用 HBase 进行文件存储。我会将文件以二进制形式存储在 HBase 中。 我不需要任何统计数据,只需要文件存储。 推荐吗?我…
用于文件 I/O 的 Hbase。以及远程客户端连接HDFS的方法
在您阅读之前请注意,我的英语并不流利。 我是 NoSQL 新手,现在尝试使用 HBase 进行文件存储。 - 我会将文件以二进制形式存储在 HBase 中。 我不需要…
sqoop导入完成但hive显示表看不到表
安装hadoop、hive(CDH版本)后我执行 ./sqoop import -connect jdbc:mysql://10.164.11.204/server -username root -password password -table user …
将大型 gzip 数据文件上传到 HDFS
我有一个用例,我想在 HDFS 上上传大的 gzip 压缩文本数据文件(~ 60 GB)。 我下面的代码大约需要 2 小时才能以 500 MB 的块上传这些文件。以下是伪…