如何通过 SSH 自动并行运行命令到多个服务器？

Question

我已经搜索了一些类似的问题，但除了运行一个命令或可能包含以下项目的几个命令之外：

ssh user@host -t sudo su -

但是，如果我本质上需要同时在（比方说）15 台服务器上运行一个脚本怎么办？ 这在 bash 中可行吗？ 在完美的世界中，如果可能的话，我需要避免安装应用程序来实现这一目标。 为了便于讨论，我们假设我需要在 10 个主机上执行以下操作：

1. 部署一个新的 Tomcat 容器
2. 在容器中部署一个应用程序，并配置它
3. 配置一个 Apache 虚拟主机
4. 重新加载 Apache

我有一个脚本可以完成所有这些操作，但是它依赖于我登录所有服务器，从存储库中提取脚本，然后运行它。 如果这在 bash 中不可行，你建议什么替代方案？ 我是否需要更大的锤子，例如 Perl（Python 可能是首选，因为我可以保证 Python 出现在 RHEL 环境中的所有机器上，这要归功于 yum/up2date）？ 如果有人能向我指出任何有用的信息，我将不胜感激，特别是如果它可以在 bash 中实现。 我会选择 Perl 或 Python，但我只是不太了解这些（正在研究）。 谢谢！

Answer 1

好吧，对于步骤 1 和 2，没有 tomcat 管理器 Web 界面吗？ 您可以使用带有 libwww 插件的 curl 或 zsh 编写脚本。

对于 SSH，您需要：
1）不提示输入密码（使用密钥）
2) 在 SSH 命令行上传递命令，这类似于受信任网络中的 rsh。

其他帖子已经向您展示了该怎么做，我可能也会使用 sh 但我很想使用 perl 就像 ssh tomcatuser@server perl - e 'do-everything-on-one-line;' 或者您可以这样做：

任一 scp the_package.tbz tomcatuser@server:the_place/。< br>
ssh tomcatuser@server /bin/sh <<\EOF
定义类似 TOMCAT_WEBAPPS=/usr/local/share/tomcat/webapps
tar xj the_package.tbz 或 rsync rsync://repository/the_package_place
mv $TOMCAT_WEBAPPS/old_war $TOMCAT_WEBAPPS/old_war.old
mv $THE_PLACE/new_war $TOMCAT_WEBAPPS/new_war
touch $TOMCAT_WEBAPPS/new_war [通常不需要重新启动 tomcat]
mv $THE_PLACE/vhost_file $APACHE_VHOST_DIR/vhost_file
$APACHECTL restart [可能需要以 apache 用户身份登录才能移动该文件并重新启动]
EOF

Answer 2

您需要 DSH 或分布式 shell，它在集群中经常使用。 这是链接： dsh

您基本上有节点组（其中包含节点列表的文件）并且您指定要在哪个节点组上运行命令，然后您将使用 dsh，就像使用 ssh 在它们上运行命令一样。

dsh -a /path/to/some/command/or/script

它将同时在所有计算机上运行该命令并返回带有主机名前缀的输出。 命令或脚本必须存在于系统上，因此共享 NFS 目录对于此类事情很有用。

Answer 3

创建所有访问的机器的主机名 ssh 命令。
通过奎拉蒂
http://pastebin.com/pddEQWq2

#Use in .bashrc
#Use "HashKnownHosts no" in ~/.ssh/config or /etc/ssh/ssh_config 
# If known_hosts is encrypted and delete known_hosts

[ ! -d ~/bin ] && mkdir ~/bin
for host in `cut -d, -f1 ~/.ssh/known_hosts|cut -f1 -d " "`;
  do
    [ ! -s ~/bin/$host ] && echo ssh $host '$*' > ~/bin/$host
done
[ -d ~/bin ] && chmod -R 700 ~/bin
export PATH=$PATH:~/bin 

前执行：

$for i in hostname{1..10}; do $i who;done

Answer 4

有一个名为 FLATT（灵活的自动化和故障排除工具） 的工具，它允许您使用以下命令在多个 Unix/Linux 主机上执行脚本：单击按钮。 它是一个在 Mac 和 Windows 上运行的桌面 GUI 应用程序，但也有一个命令行 java 客户端。
您可以创建批处理作业并在多个主机上重复使用。
需要 Java 1.6 或更高版本。

Answer 5

虽然这是一个复杂的主题，但我强烈推荐 Capistrano。

Answer 6

我不确定此方法是否适用于您想要的所有内容，但您可以尝试如下操作：

$ cat your_script.sh | ssh your_host bash

这将在远程服务器上运行脚本（驻留在本地）。

Answer 7

只需阅读新的博客 使用setsid，除了主流内核之外，无需任何进一步的安装/配置。 在 Ubuntu14.04 下测试/验证。

虽然作者也有非常清晰的解释和示例代码，但以下是快速浏览的神奇部分：

#----------------------------------------------------------------------
# Create a temp script to echo the SSH password, used by SSH_ASKPASS
#----------------------------------------------------------------------
SSH_ASKPASS_SCRIPT=/tmp/ssh-askpass-script
cat > ${SSH_ASKPASS_SCRIPT} <<EOL
#!/bin/bash
echo "${PASS}"
EOL
chmod u+x ${SSH_ASKPASS_SCRIPT}

# Tell SSH to read in the output of the provided script as the password.
# We still have to use setsid to eliminate access to a terminal and thus avoid
# it ignoring this and asking for a password.
export SSH_ASKPASS=${SSH_ASKPASS_SCRIPT}
......
......
# Log in to the remote server and run the above command.
# The use of setsid is a part of the machinations to stop ssh 
# prompting for a password.
setsid ssh ${SSH_OPTIONS} ${USER}@${SERVER} "ls -rlt"

Answer 8

我发现无需安装或配置太多软件的最简单方法是使用普通的旧 tmux。 假设您有 9 台 Linux 服务器。 选择一个盒子作为你的主要盒子。 启动 tmux 会话：

tmux

然后通过执行 8 次创建 9 个分割的 tmux 窗格：

ctrl-b + %

现在通过 SSH 连接到每个窗格中的每个框。 您需要了解一些 tmux 快捷方式。 要导航，请按：

ctrl+b <arrow-keys>

登录到每个窗格上的所有框后。 现在打开窗格同步，它可以让您在每个框中输入相同的内容：

ctrl+b :setw synchronize-panes on

现在，当您按任意键时，它将显示在每个窗格上。 要关闭它，只需将其打开即可。 要循环调整窗格大小，请按 ctrl+b <; 空格键>。

这对我来说效果更好，因为我需要查看每个终端输出，因为有时服务器在下载或升级软件时会因某种原因崩溃或挂起。 任何问题，您都可以单独隔离和解决。

Answer 9

您可以运行本地脚本，如 che 和 Yang 所示，和/或您可以使用此处文档：

ssh root@server /bin/sh <<\EOF  
wget http://server/warfile    # Could use NFS here  
cp app.war /location  
command 1  
command 2  
/etc/init.d/httpd restart  
EOF 

Answer 10

通常，我只会使用 Expect 的原始 Tcl 版本。 您只需要在本地计算机上安装它即可。 如果我在使用 Perl 的程序中，我会使用 Net::SSH:: 执行此操作期待。 其他语言也有类似的“期望”工具。

Answer 11

前几天，Perl 邮件列表中出现了如何在许多服务器上同时运行命令的问题，我将给出相同的建议 我给了那里，就是使用gsh：

http://outflux.net/unix/software/gsh

gsh 类似于“for box in box1_name box2_name box3_name”解决方案已经给出，但我发现 gsh 更方便。 您设置一个 /etc/ghosts 文件，其中包含 web、db、RHEL4、x86_64 或其他组（man Ghosts）等组中的服务器，然后在调用 gsh 时使用该组。

[pdurbin@beamish ~]$ gsh web "cat /etc/redhat-release; uname -r"
www-2.foo.com: Red Hat Enterprise Linux AS release 4 (Nahant Update 7)
www-2.foo.com: 2.6.9-78.0.1.ELsmp
www-3.foo.com: Red Hat Enterprise Linux AS release 4 (Nahant Update 7)
www-3.foo.com: 2.6.9-78.0.1.ELsmp
www-4.foo.com: Red Hat Enterprise Linux Server release 5.2 (Tikanga)
www-4.foo.com: 2.6.18-92.1.13.el5
www-5.foo.com: Red Hat Enterprise Linux Server release 5.2 (Tikanga)
www-5.foo.com: 2.6.18-92.1.13.el5
[pdurbin@beamish ~]$

您还可以使用 web+db 或 web-RHEL4 等来合并或拆分 Ghost 组。

我还要提到，虽然我从未使用过 shmux，但其网站包含一个软件列表（包括gsh），让您可以同时在许多服务器上运行命令。 Capistrano 已经被提及，（据我所知）也可能在该列表中。

Answer 12

看一下 Expect (manexpect)

我过去使用 Expect 完成过类似的任务。

Answer 13

您可以将本地脚本通过管道传输到远程服务器并使用一个命令执行它：

ssh -t user@host 'sh' < path_to_script

这可以通过使用公钥身份验证并使用脚本包装来执行并行执行来进一步自动化。

Answer 14

您可以尝试paramiko。 这是一个纯Python ssh 客户端。 您可以对 ssh 会话进行编程。 无需在远程计算机上安装任何内容。

请参阅这篇关于如何用它。

Answer 15

为您提供结构，无需实际代码。

1. 使用 scp 将安装/设置脚本复制到目标框。
2. 使用 ssh 调用远程机器上的脚本。

Answer 16

pssh 可能很有趣，因为与此处提到的大多数解决方案不同，这些命令是并行运行的。

（为了我自己的使用，我编写了一个更简单的小脚本，与 GavinCattell 的脚本非常相似，它是 此处记录 - 用法语）。

Answer 17

您是否看过 Puppet 或 Cfengine. 他们可以做你想做的事，甚至可能更多。

Answer 18

对于那些偶然发现这个问题的人，我将提供一个使用 Fabric 的答案，它完全解决了上述问题：通过 ssh 在多个主机上执行任意命令。

安装 Fabric 后，您将创建一个 fabfile.py，并实现可以在远程主机上运行的任务。 例如，重新加载 Apache 的任务可能如下所示：

from fabric.api import env, run

env.hosts = ['[email protected]', '[email protected]']

def reload():
    """ Reload Apache """
    run("sudo /etc/init.d/apache2 reload")

然后，在本地计算机上运行 fab reload 和 sudo /etc/init.d/ apache2 reload 命令将在 env.hosts 中指定的所有主机上运行。

Answer 19

您可以按照以前的方式进行操作，只需编写脚本即可，而无需手动执行。 以下代码远程到名为“loca”的机器并在那里运行两个命令。 您需要做的只是插入您想要运行的命令。

che@ovecka ~ $ ssh loca 'uname -a; echo something_else'
Linux loca 2.6.25.9 #1 (blahblahblah)
something_else

然后，要遍历所有计算机，请执行以下操作：

for box in box1_name box2_name box3_name
do
   ssh $box 'commmands_to_run_everywhere'
done

为了使 ssh 功能无需一直输入密码即可工作，您需要设置密钥身份验证。 您可以在 IBM Developerworks 上阅读相关内容。

Answer 20

您可以使用 集群 ssh。 该链接指向 Debian package of the day 博客上关于集群 ssh 的讨论。