Cloudera Manager 无法添加主机

Question

我按照此处 当我到达检查角色分配阶段时，我只看到一个托管主机：localhost.localdomain。

任何后续添加其他主机的尝试都会产生相同的结果：

• 每个群集主机安装均成功
• ，并且该主机未显示为托管主机

我缺少什么？

更新：我不喜欢回答自己的问题，所以我在这里写下我的答案。

解决方案是如此明显，以至于我没有看到它，并在相当长的一段时间内没有解决问题，直到在做一些检查时它击中了我。

安装时提供的主机名是在 /etc/hosts 中为 IP 127.0.0.1 和 localhost.localdomain 设置的> 女巫对 Cloudera 设置产生了误导，基本上使所有主机都具有相同的 IP 和主机名。

我已经使用 hostname.domain.local 重新进行了设置，现在 hosts 文件有一个单独的行，其中包含特定的 IP 和主机名以及 /etc/resolv .conf 文件与搜索域.local 一致。

即使在经历了这次不愉快的经历之后，我仍然认为 安装文档应该包含这些小细节，但这就像陈述显而易见的事情一样。

Answer 1

看起来 Cloudera（可能是最近）在其文档中添加了有关此内容的简介< /a>.我遇到这个问题已经有一段时间了，对我来说关键是获得以下命令来给出正确的结果：

$ host -v -t A `hostname`

我的解决方案涉及设置本地 DNS 服务器，但也许每个节点上都有相同的 /etc/hosts 就可以了已经足够了。 YMMV。

Answer 2

好吧，我在虚拟机上实现了集群，所以我想分享我所做的一切。在我的集群中，我创建了一个管理节点（仅适用于cloudera管理器），一个名称节点，两个数据节点。这使得向集群添加新节点变得更容易且没有问题。我还准备了简单的说明文件。它可能有点概括，但工作正常。大多数代码都取自各个站点，因此我尽力使它们尽可能简单。我在这里添加了这个答案，因为我的实现还包括向集群添加新主机。

注意：我对Linux环境非常陌生，我尽了最大努力去做事情，我期待任何人能够纠正我对使用或解释的评论。

=================================================== ==================================

这些说明是在 centOS 6.2 x64（非实时桌面版本）上实现的。如果您使用服务器版本，那么您可能需要自行配置网络配置。

尽可能在所有机器上使用相同的版本。有人说机器的 IP 值很重要，但我使用不同的 IP 范围实现，例如一台机器使用 192.168.12.13，另一台机器使用 192.168.13.144。它不会造成问题。

我还在 Windows 7 Enterprise 上使用 Oracle VirtualBox 作为虚拟机环境。

建议：当您创建一个常见的 CentOS 安装时，如果发生任何错误的配置，您应该创建一个克隆。始终保留备份克隆。

首先手动下载这些文件：

cloudera manager（可以下载社区版）。我们需要主节点，但这并不意味着主节点是集群的一部分。我

在没有名称节点或作业跟踪器的机器上使用了管理器，只有管理器应用程序。

Oracle JDK。您可以从 oracle 网站下载合适的一个。只需前往那里并从浏览器下载或复制链接并使用 wget 即可下载。这是你的选择。

请务必卸载“open jdk”：

yum remove java-1.6.0-openjdk

手动安装“oracle jdk”
请注意，wget 行可以更改。您可以从浏览器下载文件。

wget http://download.oracle.com/otn-pub/java/jdk/6u27-b07/jdk-6u27-linux-x64-rpm.bin

chmod u+x jdk-6u27-linux-x64-rpm.bin

./jdk-6u27-linux-x64-rpm.bin

让我们的系统和浏览器使用我们新的 java

/usr/sbin/alternatives --install /usr/bin/java java /usr/java/default/bin/java 20000 
/usr/sbin/alternatives --install /usr/lib/mozilla/plugins/libjavaplugin.so libjavaplugin.so /usr/java/default/jre/lib/i386/libnpjp2.so 20000

添加用户作为 sudoers

nano /etc/sudoers

找到“root ALL=(ALL) ALL”行并在下面添加此行

username  ALL=(ALL)   ALL

//这行意味着用户 root 可以从所有终端执行，
//充当所有（任何）用户，并运行所有（任何）命令。

安装“ssh 服务器”

sudo yum install openssh-server

检查 ssh 服务器状态，确保它正在运行

/sbin/service sshd status

如果未启动，则启动 sshd 服务

/sbin/service sshd start

，或者您可以简单地测试 ssh，

ssh localhost

测试成功后您可以退出

exit

这些说明也在 cloudera 网站中定义。
如果您可以检查 /var/log/cloudera-scm-agent/cloudera-scm-agent-log 或 .out 文件，并看到存在与持久性或休眠相关的

异常/错误，则意味着问题与 postgresql 数据库有关。可能数据库还没有设置。我们需要做的就是设置它。

不是：postgresql 仅需要管理器（主）节点。不需要奴隶。

通过检查服务状态来确保 postgresql 实例已安装

/etc/init.d/postgresql status

否：下面的说明需要存储库配置！！！如果您不知道如何操作，请跳至脚本文件的使用。

在 Cloudera Manager Server 主机上安装嵌入式 PostgreSQL 数据库包：

sudo yum install cloudera-manager-server-db

通过运行以下命令准备嵌入式 PostgreSQL 数据库以与 Cloudera Manager Server 一起使用 通过

sudo /sbin/service  cloudera-scm-server-db initdb

运行以下命令启动嵌入式 PostgreSQL 数据库：

sudo /sbin/service cloudera-scm-server-db start

脚本文件使用：下面的说明是通过脚本文件手动设置postgresql

/usr/share/cmf/schema/scm_prepare_database.sh database-type [options] database-name username password

所需参数和说明

数据库类型 要连接到MySQL数据库，请指定mysql为数据库类型，或指定postgresql连接到外部 PostgreSQL 数据库。

database-name 您要创建的 Cloudera Manager Server 数据库的名称。

用户名 您要创建的 Cloudera Manager Server 数据库的用户名。

密码 您要创建的 Cloudera Manager Server 数据库的密码。如果您未在命令行上指定密码，脚本将提示您输入密码。

您可以查看此页面了解详细信息：https://ccp.cloudera.com/display/ENT/Installation+Path+B+-+Installation+Using+Your+Own+Method#InstallationPathB-InstallationUsingYourOwnMethod-Step5%3AConfigureaDatabasefortheClouderaManagerServer

启动 postgresql如果它没有启动（您可以检查状态并确保重新启动它）

/etc/init.d/postgresql start

如果 Linux 上有 root/防火墙限制，则心跳代理的信息不会到达主节点（管理器），因此我们需要消除安全

问题。在这种情况下，Selinux 和 iptables 可能会产生问题。 Cloudera 说完全禁用 iptables，但如果您对 iptables 配置有经验

，那么您可以添加这样的规则。

打开 iptables 并设置 7180 端口访问规则，

nano /etc/sysconfig/iptables

添加以下行：

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 7180 -j ACCEPT

或者简单地（cloudera 方式）完全禁用 iptables。确保所有节点上的iptables状态都相同

sudo /etc/init.d/iptables stop

检查状态参数

/etc/init.d/iptables status

不：每次机器重新启动时，iptables都会再次激活，因此您可能需要一种方法来自动停止它。
由于 iptables 和 selinuxun 发生的问题将出现在日志文件“cloudera-scm-agent.log”中。您可能会看到一些有关 phyton 代码的“已弃用”警告

，只需忽略它们即可。错误/异常通常是“没有到主机的路由”或类似的内容。

禁用selinux。但您可能需要在上述许多操作之前执行此操作。特别是当您尝试安装cloudera manager时。 linux 会给你关于 selinux 的警告。

sudo nano /etc/selinux/config
    (selinux=disabled)

为每台机器设置唯一的主机名。因此，在每台机器中编辑此文件并为该机器指定名称。我们将在主机文件中使用这个名称。

sudo nano /etc/sysconfig/network

使用节点的所有 ip 值和主机名重新修改主机文件。在所有节点中执行此操作。您也可以简单地复制到其他节点。所有主机文件都是相同的

sudo nano /etc/hosts

示例：
127.0.0.1 本地主机
192.168.1.2 主节点
192.168.1.3名称节点
192.168.1.4 数据节点1
192.168.1.5 datanode2

检查cloudera manager状态，如果需要，可以重新启动它

sudo /sbin/service cloudera-scm-server start

，确保所有节点的互联网连接都足够好。因为管理器将连接它们并对它们中的每一个开始一系列的下载操作。如果管理器遇到任何问题，它会回滚所有内容，因此这将花费您重新启动所有内容。相信我，这部分花费了太多时间！

如果您使用虚拟机作为节点（我就是这样做的），您可以选择桥接网络模式。这样你就可以为所有节点提供互联网连接，但这有一个缺点。如果重新启动物理机，您可能会丢失 IP 值并自动重新获取新的 IP 值。这可能会导致您重新修改每个节点上的主机文件。但是，如果您使用 NAT 或其他类似内部网络的方式，您可以为节点提供静态 IP 值，这样就不需要重新配置。但是你应该为所有机器提供互联网访问网关IP。因为不仅是经理，座席也需要访问互联网来下载文件。当然，当您完成集群设置后，您就可以消除代理（从属）节点访问互联网的需要。

您应该在启动虚拟机时尝试 ifconfig 以查看它是否从网络获取 ip 值。如果不是，则必须更改 VM 应用程序上的虚拟机配置。如果您正在使用具有有线和无线连接的物理计算机，那么您将有不止一种以太网适配器选择。但一定要选择正确的。错误的不会给你ip地址。

一定要使用oracle JDK。

不时检查cloudera scm状态。

sudo /sbin/service cloudera-scm-server status

检查 7180 和其他 Cloudera Manager 相关端口是否已侦听。你可以使用“nmap”或“netstat --listen”

如果你无法安装cloudera manager到主节点（可能是selinux、postgresql或下载问题。顺便确保下载是不可剪切的）那么你可能需要清理并重新启动。

此行将清理 cloudera 相关文件并允许您再次重新启动。

sudo rm -Rf /usr/share/{cmf,hue} /var/lib/cloudera* /var/cache/yum/cloudera*

如果您更改任何内容并确保进程正常工作，您可以在从节点上重新启动cloudera-scm-agent。但是您应该保留干净的日志文件以查看新配置是否正常工作。日志文件对于查看问题所在或正确情况非常重要。

cd /var/log/cloudera-scm-agent
sudo rm *   

接下来的步骤是从 includera 管理器 Web 界面添加主机：

在管理器计算机中，我使用“localhost:7180”连接到 mamanger gui。在主机部分，您将向集群添加新主机。只需在测试框中添加节点的名称，然后按“查找主机”按钮。如果您还记得的话，主机名已在 /etc/hosts 文件中定义。因此，您可以在文本框中使用 ip 或主机名，如果它们设置正确，那么 mamanger 会找到合适的并将它们列在上面的列表中。如果它们尚未被管理（意味着尚未安装任何内容），“当前管理”列将显示“否”。否则会显示“是”。

之后，您可以继续在所选主机上安装cloudera代理和hadoop文件。但是，如果您已经安装了它们（如果它们是托管的），那么您可以开始在它们上添加服务。只需转到“服务”页面并继续您的流程。如果您正确设置主机并看到它们受到管理，那么添加服务非常容易并且没有问题。（至少对我来说）。

请发送有关我的回答的任何评论。它很长。也许不必要。但我尝试添加每一个细节。

Answer 3

我也有类似的问题。 Cloudera Manager 能够安装所有组件，但主机未显示在托管主机列表中。

就我而言，ip/dns 名称配置很好。我能够成功地进行查找。
后来我意识到Cloudera需要一堆端口来管理节点。各种 Hadoop 服务还需要额外的端口。只是看看问题是否是因为这个，可以暂时关闭防火墙。如果这是问题所在，请参阅 Cloudera 的文档以获取端口列表。目前它位于：
https://ccp.cloudera.com/display/ENT4DOC/Configuring +Cloudera+Manager 的+端口

Answer 4

为了解决这个错误，我做了三件事：

1）vim /etc/cloudera-scm-agent/config.ini
最初将

# Hostname of Cloudera SCM Server
   server_host=localhost

主机名更改为：

server_host=manager

另外请确保在 /etc/hosts 文件中添加了“manager”

2）在 /usr/local/java/jdk1.7xxx 目录中安装了 java
在~/.bash_profile中
包含的以下

export JAVA_HOME=/usr/local/java/jdk1.7xxx

软链接也可用于此目的：

export PATH=$PATH:$JAVA_HOME:bin

Cloudera 可能将 java 路径视为“/usr/java”。所以我在/usr目录中创建了一个符号链接。

3）当它仍然不起作用时，我使用以下命令安装了MySQL Connector：

yum install mysql-connector-java

重新启动服务器并重新启动代理。当时它对我有用。

Answer 5

如果您尝试了所有建议，但仍然无法将新主机添加到集群中，

请尝试以下操作：

1. 按照指南执行完整的卸载步骤
   从卸载 Cloudera 卸载 Cloudera Manager 和托管软件管理器代理和托管软件
2. 重新启动新主机。

原因：

因为Cloudera-manage代理是用Python编写的。如果你之前安装失败，一些僵尸进程会留在你的新主机上，这是很难意识到的。

Answer 6

您可以检查/etc/hostname 文件。它应该具有主机名，后跟 FQDN。
HOSTNAME=主机名.fqdn
然后你也可以运行这个命令：
主机名 more /etc/hostname（`` 不是 ''）