如何从 DFS 中删除 hadoop 节点而不是从 Mapred 中删除？
我对 hadoop 还很陌生。为了运行一些基准测试，我需要各种 hadoop 配置进行比较。
我想知道一种从 DFS 中删除 hadoop 从站（不再运行 datanode 守护进程）但不从 Mapred 中删除（继续运行 tasktracker）的方法，反之亦然。 AFAIK，此类 hadoop 节点有一个从属文件，而 DFS 和 Mapred 没有单独的从属文件。
目前，我正在尝试在从节点上启动DFS和Mapred，然后杀死从节点上的datanode。但在 HDFS GUI 上将该节点置于“死节点”需要一段时间。可以调整任何参数以使超时更快吗？
谢谢啦
I am fairly new to hadoop. For running some benchmarks, I need variety of hadoop configuration for comparison.
I want to know a method to remove a hadoop slave from DFS (not running datanode daemon anymore) but not from Mapred (keep running tasktracker), or vice-versa.
AFAIK, there is a single slave file for such hadoop nodes and not separate slave files for DFS and Mapred.
Currently, I am trying to start both DFS and Mapred on the slave node , and then killing datanode on the slave. But it takes a while to put that node in to 'dead nodes' on HDFS GUI. Any parameter can be tuned to make this timeout quicker ?
Thankssss
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
尝试在中使用 dfs.hosts 和 dfs.hosts.exclude hdfs-site.xml，mapred.hosts 和mapred-site.xml 中的 mapred.hosts.exclude。这些用于允许/排除主机连接到 NameNode 和 JobTracker。
文件中的节点列表适当更新后，必须分别使用
hadoop dfsadmin -refreshNodes和hadoop mradmin -refreshNodes命令刷新 NameNode 和 JobTracker。Try using dfs.hosts and dfs.hosts.exclude in the hdfs-site.xml, mapred.hosts and mapred.hosts.exclude in mapred-site.xml. These are for allowing/excluding hosts to connect to the NameNode and the JobTracker.
Once the list of nodes in the files has been updated appropriately, the NameNode and the JobTracker have to be refreshed using the
hadoop dfsadmin -refreshNodesandhadoop mradmin -refreshNodescommand respectively.如果节点很少，您可以仅在每台计算机上启动所需的守护进程，而不是使用
slaves文件启动集群上的所有进程。Instead of using
slavesfile to start all processes on your cluster, you can start only required daemons on each machine if you have few nodes.