如何在 Fabric 文件中设置目标主机

Question

我想使用 Fabric 将我的 Web 应用程序代码部署到开发、登台和生产服务器。我的 fabfile：

def deploy_2_dev():
  deploy('dev')

def deploy_2_staging():
  deploy('staging')

def deploy_2_prod():
  deploy('prod')

def deploy(server):
  print 'env.hosts:', env.hosts
  env.hosts = [server]
  print 'env.hosts:', env.hosts

示例输出：

host:folder user$ fab deploy_2_dev
env.hosts: []
env.hosts: ['dev']
No hosts found. Please specify (single) host string for connection:

当我创建一个 set_hosts() 任务时，如 Fabric 文档，env.hosts 设置正确。然而，这不是一个可行的选择，装饰器也不是。在命令行上传递主机最终会生成某种调用 fabfile 的 shell 脚本，我更希望使用一个工具来正确完成这项工作。

Fabric 文档中说“env.hosts 只是一个 Python 列表对象”。根据我的观察，这根本不是事实。

谁能解释一下这是怎么回事？如何设置要部署到的主机？

Answer 1

您需要设置 host_string 示例如下：

from fabric.context_managers import settings as _settings

def _get_hardware_node(virtualized):
    return "localhost"

def mystuff(virtualized):
    real_host = _get_hardware_node(virtualized)
    with _settings(
        host_string=real_host):
        run("echo I run on the host %s :: `hostname -f`" % (real_host, ))

Answer 2

解释为什么这甚至是一个问题。命令fab正在利用fabric库来运行主机列表上的任务。如果您尝试更改任务内的主机列表，那么您实际上是在迭代列表时尝试更改列表。或者，在没有定义主机的情况下，循环遍历一个空列表，其中将列表设置为循环的代码永远不会执行。

使用 env.host_string 可以解决此行为，只是因为它直接向函数指定要连接的主机。这会导致一些问题，因为如果您想要在多个主机上执行，您将重新创建执行循环。

人们能够在运行时设置主机的最简单方法是将环境填充为一个不同的任务，该任务设置所有主机字符串、用户等。然后他们运行部署任务。它看起来像这样：

fab production deploy

或

fab staging deploy

其中登台和生产就像您给出的任务，但它们本身不会调用下一个任务。它必须像这样工作的原因是任务必须完成，并跳出循环（主机的循环，在 env 情况下为 None，但此时它是一个循环），然后让循环结束重新指定主机（现在由前面的任务定义）。

Answer 3

您需要在模块级别修改 env.hosts，而不是在任务函数内。我也犯了同样的错误。

from fabric.api import *

def _get_hosts():
    hosts = []
    ... populate 'hosts' list ...
    return hosts

env.hosts = _get_hosts()

def your_task():
    ... your task ...

Answer 4

这很简单。只需初始化 env.host_string 变量，以下所有命令都将在此主机上执行。

from fabric.api import env, run

env.host_string = '[email protected]'

def foo:
    run("hostname -f")

Answer 5

我对 Fabric 完全陌生，但要让 Fabric 在多个主机上运行相同的命令（例如，在一个命令中部署到多个服务器），您可以运行：

fab -H staging-server,production-server deploy 

where staging-server 和 生产服务器是您要对其运行部署操作的 2 台服务器。这是一个简单的 fabfile.py，它将显示操作系统名称。请注意，fabfile.py 应与运行 fab 命令的目录位于同一目录中。

from fabric.api import *

def deploy():
    run('uname -s')

这至少适用于 Fabric 1.8.1。

Answer 6

因此，为了设置主机并在所有主机上运行命令，您必须首先：

def PROD():
    env.hosts = ['10.0.0.1', '10.0.0.2']

def deploy(version='0.0'):
    sudo('deploy %s' % version)

定义这些主机后，然后在命令行上运行命令：

fab PROD deploy:1.5

什么将在所有服务器上运行部署任务在 PROD 函数中列出，因为它在运行任务之前设置 env.hosts。

Answer 7

您可以在执行子任务之前分配env.hoststring。如果要迭代多个主机，请在循环中分配给此全局变量。

不幸的是，对于你我来说，fabric 并不是为这种用例而设计的。查看 http://github.com/bitprophet/fabric/main.py" 的 main 函数/github.com/bitprophet/fabric/blob/master/fabric/main.py 看看它是如何工作的。

Answer 8

这是另一种“翻跟斗”模式，可启用 fab my_env_1 my_command 用法：

使用此模式，我们只需使用字典定义一次环境。 env_factory 根据 ENVS 的键名创建函数。我将 ENVS 放在其自己的目录中，并文件 secrets.config.py 将配置与结构代码分开。

缺点是，如所写，添加 @task 装饰器将 打破它。

注意：我们在工厂中使用 def func(k=k): 而不是 def func(): 因为 后期绑定。我们使用 此解决方案 并对其进行修补以定义该函数。

Secrets.config.py

ENVS = {
    'my_env_1': {
        'HOSTS': [
            'host_1',
            'host_2',
        ],
        'MY_OTHER_SETTING': 'value_1',
    },
    'my_env_2': {
        'HOSTS': ['host_3'],
        'MY_OTHER_SETTING': 'value_2'
    }
}

fabfile.py

import sys
from fabric.api import env
from secrets import config


def _set_env(env_name):
    # can easily customize for various use cases
    selected_config = config.ENVS[env_name]
    for k, v in selected_config.items():
        setattr(env, k, v)


def _env_factory(env_dict):
    for k in env_dict:
        def func(k=k):
            _set_env(k)
        setattr(sys.modules[__name__], k, func)


_env_factory(config.ENVS)

def my_command():
    # do work

Answer 9

使用角色目前被认为是执行此操作的“适当”和“正确”方法，并且是您“应该”执行的操作。

也就是说，如果您像大多数人一样，您“想要”或“渴望”的是执行“扭曲系统”或动态切换目标系统的能力。

因此，仅出于娱乐目的（！）以下示例说明了许多人可能认为有风险但又完全令人满意的操作，如下所示：

env.remote_hosts       = env.hosts = ['10.0.1.6']
env.remote_user        = env.user = 'bob'
env.remote_password    = env.password = 'password1'
env.remote_host_string = env.host_string

env.local_hosts        = ['127.0.0.1']
env.local_user         = 'mark'
env.local_password     = 'password2'

def perform_sumersault():
    env_local_host_string = env.host_string = env.local_user + '@' + env.local_hosts[0]
    env.password = env.local_password
    run("hostname -f")
    env.host_string = env.remote_host_string
    env.remote_password = env.password
    run("hostname -f")

然后运行：

fab perform_sumersault

Answer 10

我通过为每个环境声明一个实际函数来做到这一点。例如：

def test():
    env.user = 'testuser'
    env.hosts = ['test.server.com']

def prod():
    env.user = 'produser'
    env.hosts = ['prod.server.com']

def deploy():
    ...

使用上述函数，我将键入以下内容来部署到我的测试环境：

fab test deploy

...以及以下内容来部署到生产环境：

fab prod deploy

这样做的好处是 test和 prod 函数可以在任何 fab 函数之前使用，而不仅仅是部署。它非常有用。

Answer 11

使用 roledefs

from fabric.api import env, run

env.roledefs = {
    'test': ['localhost'],
    'dev': ['[email protected]'],
    'staging': ['[email protected]'],
    'production': ['[email protected]']
} 

def deploy():
    run('echo test')

用 -R 选择角色：

$ fab -R test deploy
[localhost] Executing task 'deploy'
...

Answer 12

这是 serverhorror 的答案的简单版本：

from fabric.api import settings

def mystuff():
    with settings(host_string='192.0.2.78'):
        run("hostname -f")

Answer 13

我自己也被困在这个问题上，但最后想通了。您根本无法在任务内设置 env.hosts 配置。每个任务都会执行 N 次，每个指定的主机执行一次，因此该设置基本上超出了任务范围。

看看上面的代码，您可以简单地执行以下操作：

@hosts('dev')
def deploy_dev():
    deploy()

@hosts('staging')
def deploy_staging():
    deploy()

def deploy():
    # do stuff...

这似乎可以实现您的预​​期。

或者，您可以在全局范围内编写一些自定义代码，手动解析参数，并在定义任务函数之前设置 env.hosts。由于一些原因，这实际上就是我的设置方式。

Answer 14

从 fab 1.5 开始，这是动态设置主机的记录方法。

http://docs.fabfile.org/en/1.7/usage /execution.html#dynamic-hosts

引用下面的文档。

通过动态设置的主机列表使用执行

Fabric 的一个常见的中级到高级用例是
在运行时参数化目标主机列表的查找（当使用
角色还不够）。执行可以使这变得非常简单，例如
所以：

from fabric.api import run, execute, task

# For example, code talking to an HTTP API, or a database, or ...
from mylib import external_datastore

# This is the actual algorithm involved. It does not care about host
# lists at all.
def do_work():
    run("something interesting on a host")

# This is the user-facing task invoked on the command line.
@task
def deploy(lookup_param):
    # This is the magic you don't get with @hosts or @roles.
    # Even lazy-loading roles require you to declare available roles
    # beforehand. Here, the sky is the limit.
    host_list = external_datastore.query(lookup_param)
    # Put this dynamically generated host list together with the work to be
    # done.
    execute(do_work, hosts=host_list)

Answer 15

与其他一些答案相反，可以修改任务中的env环境变量。但是，此 env 将仅用于使用 fabric.tasks.execute 函数执行的后续任务。

from fabric.api import task, roles, run, env
from fabric.tasks import execute

# Not a task, plain old Python to dynamically retrieve list of hosts
def get_stressors():
    hosts = []
    # logic ...
    return hosts

@task
def stress_test():
    # 1) Dynamically generate hosts/roles
    stressors = get_stressors()
    env.roledefs['stressors'] = map(lambda x: x.public_ip, stressors)

    # 2) Wrap sub-tasks you want to execute on new env in execute(...)
    execute(stress)

    # 3) Note that sub-tasks not nested in execute(...) will use original env
    clean_up()

@roles('stressors')
def stress():
    # this function will see any changes to env, as it was wrapped in execute(..)
    run('echo "Running stress test..."')
    # ...

@task
def clean_up():
    # this task will NOT see any dynamic changes to env

如果不将子任务包装在 execute(...) 中，您的模块级 env 设置或从 fab CLI 传递的任何内容都将是用过的。