“io.sort.mb”的正确位置是在 Hadoop 中?
我有点困惑,在 Hadoop 集群设置中,在“真实世界集群配置”,给出了一个示例,其中 io.sort.mb 等属性io.sort.factor 位于 core-site.xml 中。但在默认配置文件中,这些属性出现在 mapred-site.xml!!!我应该遵循哪一个?我可以随意把它放在任何地方吗?如果是,三个配置文件(core、mapred、hdfs.xml)有什么区别?
是否有所有可能属性的完整列表?
非常感谢任何帮助..
编辑:尝试和错误我发现 io.sort.mb 属于 mapred-site.xml。
I am a bit confused, in the Hadoop cluster setup, in section "Real-World Cluster Configurations", an example is given where properties like io.sort.mb & io.sort.factor goes in core-site.xml. But in the default configuration files these properties appears in mapred-site.xml!!! which one I should follow? Am i free to put it anywhere? If yes, what is the difference between the three configuration file (core, mapred, and hdfs .xml)?
Is there any complete list of all possible properties?
Any help is much appreciated..
EDIT: Trial and error I found io.sort.mb belongs to mapred-site.xml.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
core-default.html,
hdfs-default.html 和
mapred-default.html 具有所有属性及其默认值。
根据'Hadoop:权威指南'
core-site.xml 有'配置设置对于 Hadoop Core,例如 HDFS 和 MapReduce 通用的 I/O 设置。
hdfs-site.xml 具有“HDFS 守护进程的配置设置:名称节点、辅助名称节点和数据节点”。
mapred-site.xml 具有“MapReduce 守护进程的配置设置:作业跟踪器和任务跟踪器”。
在此处查找有关配置文件的更多信息。
core-default.html,
hdfs-default.html and
mapred-default.html have all the properties with their defaults.
According to the 'Hadoop : The Definitive Guide'
core-site.xml has 'Configuration settings for Hadoop Core, such as I/O settings that are common to HDFS and MapReduce.'
hdfs-site.xml has 'Configuration settings for HDFS daemons: the namenode, the secondary namenode, and the datanodes.'
mapred-site.xml had 'Configuration settings for MapReduce daemons: the jobtracker, and the tasktrackers.'
Find more information about the configuration files here.