如何使 cloud-init 启动脚本在每次 EC2 实例启动时运行？

Question

我有一个运行基于 Amazon Linux AMI 的 AMI 的 EC2 实例。与所有此类 AMI 一样，它支持 cloud-init 系统，用于基于用户数据运行启动脚本传递到每个实例中。在这种特殊情况下，我的用户数据输入恰好是一个包含文件，该文件提供了几个其他启动脚本：

#include
http://s3.amazonaws.com/path/to/script/1
http://s3.amazonaws.com/path/to/script/2

我第一次启动实例时，cloud-init 启动脚本正确运行。但是，如果我对实例进行软重启（例如，通过运行 sudo shutdown -r now），实例将重新启动，而无需在第二次运行启动脚本周围的时间。如果我进入系统日志，我可以看到：

Running cloud-init user-scripts
user-scripts already ran once-per-instance
[  OK  ]

这不是我想要的 - 我可以看到启动脚本在每个实例生命周期中只运行一次的实用程序，但在我的情况下，这些脚本应该在每次实例启动时运行，就像普通的启动脚本一样。

我意识到一个可能的解决方案是在第一次运行后手动将我的脚本插入到 rc.local 中。然而，这似乎很麻烦，因为 cloud-init 和 rc.d 环境略有不同，我现在必须在首次启动和所有后续启动时分别调试脚本。

有谁知道我如何告诉 cloud-init 始终运行我的脚本？这听起来确实像是 cloud-init 的设计者会考虑到的事情。

Answer 1

另一种方法是在用户数据脚本中使用#cloud-boothook。来自 文档：

云 Boothook

• 以 #cloud-boothook 或内容类型开头：text/cloud-boothook。
• 此内容是 Bootook 数据。它存储在 /var/lib/cloud 下的文件中，然后立即执行。
• 这是最早可用的“钩子”。 没有提供仅运行一次的机制。 Bootook 必须小心
  这本身。它由环境中的实例 ID 提供
  变量 INSTANCE_ID。使用此变量提供每个实例一次
  Bootook 数据集。

Answer 2

请使用 bash 脚本上方的以下脚本。

之前，我将 hello world 打印到我的文件

停止实例

示例：在添加到 userdata脚本

Content-Type: multipart/mixed; boundary="//"
MIME-Version: 1.0

--//
Content-Type: text/cloud-config; charset="us-ascii"
MIME-Version: 1.0
Content-Transfer-Encoding: 7bit
Content-Disposition: attachment; filename="cloud-config.txt"

#cloud-config
cloud_final_modules:
- [scripts-user, always]

--//
Content-Type: text/x-shellscript; charset="us-ascii"
MIME-Version: 1.0
Content-Transfer-Encoding: 7bit
Content-Disposition: attachment; filename="userdata.txt"

#!/bin/bash
/bin/echo "Hello World." >> /var/tmp/sdksdfjsdlf
--//

Answer 3

在 Amazon Linux 2 上对我有用的是删除 /var/lib/cloud/instance/sem/ 下的信号量：

sudo rm /var/lib/cloud/instance/sem/config_write_files
sudo rm /var/lib/cloud/instance/sem/config_runcmd
sudo rm /var/lib/cloud/instance/sem/config_scripts_user

理论上，可以创建一个 cron 来定期删除这些文件

Answer 4

在 11.10、12.04 及更高版本中，您可以通过使“scripts-user”“始终”运行来实现此目的。
在 /etc/cloud/cloud.cfg 中，您将看到类似以下内容：

cloud_final_modules:
 - rightscale_userdata
 - scripts-per-once
 - scripts-per-boot
 - scripts-per-instance
 - scripts-user
 - keys-to-console
 - phone-home
 - final-message

这可以在启动后修改，或者可以通过用户数据插入覆盖此节的云配置数据。即，在用户数据中，您可以提供：

#cloud-config
cloud_final_modules:
 - rightscale_userdata
 - scripts-per-once
 - scripts-per-boot
 - scripts-per-instance
 - [scripts-user, always]
 - keys-to-console
 - phone-home
 - final-message

也可以是“#included”，正如您在描述中所做的那样。
不幸的是，现在您无法修改“cloud_final_modules”，而只能覆盖它。我希望在某个时候添加修改配置部分的功能。

云配置文档中有更多关于此的信息：
https://github.com/canonical/cloud-init/tree/master /doc/examples

或者，您可以将文件放入 /var/lib/cloud/scripts/per-boot 中，它们将通过 'scripts-per-boot' 路径运行。

Answer 5

在 /etc/init.d/cloud-init-user-scripts 中，编辑此行：

/usr/bin/cloud-init-run-module once-per-instance user-scripts execute run-parts ${SCRIPT_DIR} >/dev/null && success || failure

祝

 /usr/bin/cloud-init-run-module always user-scripts execute run-parts ${SCRIPT_DIR} >/dev/null && success || failure

你好运！

Answer 6

cloud-init 现在原生支持此功能，请参阅文档中的 runcmd 与 bootcmd 命令描述 (http://cloudinit.readthedocs.io/en/latest/topics/examples.html#run-commands-on-first-boot):

"runcmd":

#cloud-config

# run commands
# default: none
# runcmd contains a list of either lists or a string
# each item will be executed in order at rc.local like level with
# output to the console
# - runcmd only runs during the first boot
# - if the item is a list, the items will be properly executed as if
#   passed to execve(3) (with the first arg as the command).
# - if the item is a string, it will be simply written to the file and
#   will be interpreted by 'sh'
#
# Note, that the list has to be proper yaml, so you have to quote
# any characters yaml would eat (':' can be problematic)
runcmd:
 - [ ls, -l, / ]
 - [ sh, -xc, "echo $(date) ': hello world!'" ]
 - [ sh, -c, echo "=========hello world'=========" ]
 - ls -l /root
 - [ wget, "http://slashdot.org", -O, /tmp/index.html ]

“bootcmd”：

#cloud-config

# boot commands
# default: none
# this is very similar to runcmd, but commands run very early
# in the boot process, only slightly after a 'boothook' would run.
# bootcmd should really only be used for things that could not be
# done later in the boot process.  bootcmd is very much like
# boothook, but possibly with more friendly.
# - bootcmd will run on every boot
# - the INSTANCE_ID variable will be set to the current instance id.
# - you can use 'cloud-init-per' command to help only run once
bootcmd:
 - echo 192.168.1.130 us.archive.ubuntu.com >> /etc/hosts
 - [ cloud-init-per, once, mymkfs, mkfs, /dev/vdb ]

另请注意 bootcmd 中的“cloud-init-per”命令示例。从它的帮助：

Usage: cloud-init-per frequency name cmd [ arg1 [ arg2 [ ... ] ]
   run cmd with arguments provided.

   This utility can make it easier to use boothooks or bootcmd
   on a per "once" or "always" basis.

   If frequency is:
      * once: run only once (do not re-run for new instance-id)
      * instance: run only the first boot for a given instance-id
      * always: run every boot

Answer 7

一种可能（虽然有些黑客行为）是删除 cloud-init 用于确定用户脚本是否已运行的锁定文件。就我而言 (Amazon Linux AMI)，此锁定文件位于 /var/lib/cloud/sem/ 中，名为 user-scripts.i-7f3f1d11 （最后的哈希部分每次启动都会改变）。因此，添加到包含文件末尾的以下用户数据脚本将起到作用：

#!/bin/sh
rm /var/lib/cloud/sem/user-scripts.*

我不确定这是否会对其他任何内容产生不利影响，但它在我的实验中有效。

Answer 8

我在这个问题上苦苦挣扎了近两天，尝试了所有我能找到的解决方案，最后结合多种方法，提出了以下方案：

MyResource:
  Type: AWS::EC2::Instance
  Metadata:
    AWS::CloudFormation::Init:
      configSets:
        setup_process:
          - "prepare"
          - "run_for_instance"
      prepare:
        commands:
          01_apt_update:
            command: "apt-get update"
          02_clone_project:
            command: "mkdir -p /replication && rm -rf /replication/* && git clone https://github.com/awslabs/dynamodb-cross-region-library.git /replication/dynamodb-cross-region-library/"
          03_build_project:
            command: "mvn install -DskipTests=true"
            cwd: "/replication/dynamodb-cross-region-library"
          04_prepare_for_apac:
            command: "mkdir -p /replication/replication-west && rm -rf /replication/replication-west/* && cp /replication/dynamodb-cross-region-library/target/dynamodb-cross-region-replication-1.2.1.jar /replication/replication-west/replication-runner.jar"
      run_for_instance:
        commands:
          01_run:
            command: !Sub "java -jar replication-runner.jar --sourceRegion us-east-1 --sourceTable ${TableName} --destinationRegion ap-southeast-1 --destinationTable ${TableName} --taskName -us-ap >/dev/null 2>&1 &"
            cwd: "/replication/replication-west"
  Properties:
    UserData:
      Fn::Base64:
        !Sub |
          #cloud-config
          cloud_final_modules:
           - [scripts-user, always]
          runcmd:
           - /usr/local/bin/cfn-init -v -c setup_process --stack ${AWS::StackName} --resource MyResource --region ${AWS::Region}
           - /usr/local/bin/cfn-signal -e $? --stack ${AWS::StackName} --resource MyResource --region ${AWS::Region}

这是 DynamoDb 跨区域复制过程的设置。

Answer 9

如果有人想在 CDK 上执行此操作，这里有一个 python 示例。

对于 Windows，用户数据具有特殊的 persist标签，但对于Linux，需要使用多部分用户数据 首先设置cloud-init。此 Linux 示例使用 cloud-config（请参阅 参考博客）部分类型而不是 cloud-boothook 需要一个 cloud-init-per （另请参阅 bootcmd) 调用我无法测试（例如：cloud-init-pre always）。

Linux 示例：

    # Create some userdata commands
    instance_userdata = ec2.UserData.for_linux()
    instance_userdata.add_commands("apt update")
    # ...
    # Now create the first part to make cloud-init run it always
    cinit_conf = ec2.UserData.for_linux();
    cinit_conf .add_commands('#cloud-config');
    cinit_conf .add_commands('cloud_final_modules:');
    cinit_conf .add_commands('- [scripts-user, always]');
    multipart_ud = ec2.MultipartUserData()
    #### Setup to run every time instance starts
    multipart_ud.add_part(ec2.MultipartBody.from_user_data(cinit_conf , content_type='text/cloud-config'))
    #### Add the commands desired to run every time
    multipart_ud.add_part(ec2.MultipartBody.from_user_data(instance_userdata));

    ec2.Instance(
        self, "myec2",
        userdata=multipart_ud,
        #other required config...
    )

Windows 示例：

    instance_userdata = ec2.UserData.for_windows()
    # Bootstrap
    instance_userdata.add_commands("Write-Output 'Run some commands'")
    # ...
    # Making all the commands persistent - ie: running on each instance start
    data_script = instance_userdata.render()
    data_script += "<persist>true</persist>"
    ud = ec2.UserData.custom(data_script)
    ec2.Instance(
        self, "myWinec2",
        userdata=ud,
        #other required config...
    )