“io.sort.mb”的正确位置是在 Hadoop 中?

发布于 2024-12-06 10:14:15 字数 524 浏览 0 评论 0原文

我有点困惑,在 Hadoop 集群设置中,在“真实世界集群配置”,给出了一个示例,其中 io.sort.mb 等属性io.sort.factor 位于 core-site.xml 中。但在默认配置文件中,这些属性出现在 mapred-site.xml!!!我应该遵循哪一个?我可以随意把它放在任何地方吗?如果是,三个配置文件(core、mapred、hdfs.xml)有什么区别?

是否有所有可能属性的完整列表?

非常感谢任何帮助..

编辑:尝试和错误我发现 io.sort.mb 属于 mapred-site.xml。

I am a bit confused, in the Hadoop cluster setup, in section "Real-World Cluster Configurations", an example is given where properties like io.sort.mb & io.sort.factor goes in core-site.xml. But in the default configuration files these properties appears in mapred-site.xml!!! which one I should follow? Am i free to put it anywhere? If yes, what is the difference between the three configuration file (core, mapred, and hdfs .xml)?

Is there any complete list of all possible properties?

Any help is much appreciated..

EDIT: Trial and error I found io.sort.mb belongs to mapred-site.xml.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

未蓝澄海的烟 2024-12-13 10:14:15

core-default.html
hdfs-default.html

mapred-default.html
具有所有属性及其默认值。

根据'Hadoop:权威指南'

core-site.xml 有'配置设置对于 Hadoop Core,例如 HDFS 和 MapReduce 通用的 I/O 设置。

hdfs-site.xml 具有“HDFS 守护进程的配置设置:名称节点、辅助名称节点和数据节点”。

mapred-site.xml 具有“MapReduce 守护进程的配置设置:作业跟踪器和任务跟踪器”。

此处查找有关配置文件的更多信息。

core-default.html,
hdfs-default.html
and
mapred-default.html
have all the properties with their defaults.

According to the 'Hadoop : The Definitive Guide'

core-site.xml has 'Configuration settings for Hadoop Core, such as I/O settings that are common to HDFS and MapReduce.'

hdfs-site.xml has 'Configuration settings for HDFS daemons: the namenode, the secondary namenode, and the datanodes.'

mapred-site.xml had 'Configuration settings for MapReduce daemons: the jobtracker, and the tasktrackers.'

Find more information about the configuration files here.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文