开始使用 Python 进行安全 AWS CloudFront 流式传输

Question

我已经创建了一个 S3 存储桶，上传了一个视频，并在 CloudFront 中创建了一个流分配。用静态 HTML 播放器对其进行了测试，它可以工作。我已经通过帐户设置创建了密钥对。目前我的桌面上有私钥文件。这就是我所在的地方。

我的目标是让我的 Django/Python 网站创建安全 URL，并且人们无法访问视频，除非它们来自我的页面之一。问题是我对亚马逊的布局方式过敏，而且我越来越困惑。

我意识到这不会是 StackOverflow 上最好的问题，但我确信我不会是这里唯一一个无法弄清楚如何设置安全的 CloudFront/S3 情况的傻瓜。我非常感谢您的帮助，并且愿意（两天后）对最佳答案给予 500pt 的奖励。

我有几个问题，一旦得到解答，应该适合如何完成我所追求的任务的一个解释：

• 在文档中（下一点中有一个示例）有很多 XML 告诉我我需要POST 东西到不同的地方。有在线控制台可以执行此操作吗？或者我确实必须通过 cURL（等）强制执行此操作？

• 如何为 CloudFront 创建源访问身份并将其绑定到我的分配？我已阅读本文档，但是，根据第一点，不要不知道该怎么办。我的密钥对如何适应这种情况？

• 完成后，如何限制 S3 存储桶仅允许人们通过该身份下载内容？如果这是另一个 XML 工作，而不是点击 Web UI，请告诉我应该在哪里以及如何将其添加到我的帐户中。

• 在 Python 中，为文件生成过期 URL 的最简单方法是什么。我安装了 boto，但我不知道如何从流分发中获取文件。

• 是否有任何应用程序或脚本可以克服设置此服装的困难？我使用 Ubuntu (Linux)，但如果虚拟机仅支持 Windows，则我在虚拟机中安装了 XP。我已经研究过 CloudBerry S3 Explorer Pro - 但它与在线 UI 一样有意义。

Answer 1

你是对的，需要大量的 API 工作才能完成此设置。我希望他们很快就能在 AWS 控制台中获得它！

更新：我已将此代码提交给 boto - 从 boto v2.1（2011 年 10 月 27 日发布）开始，这变得更加容易。对于 boto < 2.1、使用此处的说明。对于 boto 2.1 或更高版本，请在我的博客上获取更新的说明：http ://www.secretmike.com/2011/10/aws-cloudfront-secure-streaming.html 一旦 boto v2.1 被更多发行版打包，我将更新答案 要实现您想要的目标，

您需要执行以下步骤，我将在下面详细介绍这些步骤：

1. 创建您的 s3 存储桶并上传一些对象（您已经完成了此操作）
2. 创建 Cloudfront“原始访问身份”（基本上）一个 AWS 帐户，以允许 Cloudfront 访问您的 s3 存储桶）
3. 修改对象上的 ACL，以便仅允许您的 Cloudfront 原始访问身份读取它们（这可以防止人们绕过 Cloudfront 并直接访问 s3）
4. 使用基本功能创建 Cloudfront 发行版网址和需要签名 URL
5. 测试您可以从基本的 cloudfront 发行版下载对象，但不能从 s3 或签名的 cloudfront 发行版 下载对象
6. 创建用于签名 URL 的密钥
7. 对 使用 Python 生成一些 URL
8. 测试签名 URL 是否有效

---

1 - 创建存储桶并上传对象

最简单的方法是通过 AWS 控制台，但为了完整起见，我将展示如何使用 boto。 Boto 代码如下所示：

import boto

#credentials stored in environment AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY
s3 = boto.connect_s3()

#bucket name MUST follow dns guidelines
new_bucket_name = "stream.example.com"
bucket = s3.create_bucket(new_bucket_name)

object_name = "video.mp4"
key = bucket.new_key(object_name)
key.set_contents_from_filename(object_name)

2 - 创建 Cloudfront“源访问身份”

目前，此步骤只能使用 API 执行。 Boto 代码位于：

import boto

#credentials stored in environment AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY
cf = boto.connect_cloudfront()

oai = cf.create_origin_access_identity(comment='New identity for secure videos')

#We need the following two values for later steps:
print("Origin Access Identity ID: %s" % oai.id)
print("Origin Access Identity S3CanonicalUserId: %s" % oai.s3_user_id)

3 - 修改对象上的 ACL

现在我们已经有了特殊的 S3 用户帐户（我们上面创建的 S3CanonicalUserId），我们需要授予它对 s3 对象的访问权限。我们可以使用 AWS 控制台轻松完成此操作，方法是打开对象的（不是存储桶的！）权限选项卡，单击“添加更多权限”按钮，然后将上面获得的很长的 S3CanonicalUserId 粘贴到新权限的“被授权者”字段中。确保您授予新权限“打开/下载”权限。

您还可以使用以下 boto 脚本在代码中执行此操作：

import boto

#credentials stored in environment AWS_ACCESS_KEY_ID and AWS_SECRET_ACCESS_KEY
s3 = boto.connect_s3()

bucket_name = "stream.example.com"
bucket = s3.get_bucket(bucket_name)

object_name = "video.mp4"
key = bucket.get_key(object_name)

#Now add read permission to our new s3 account
s3_canonical_user_id = "<your S3CanonicalUserID from above>"
key.add_user_grant("READ", s3_canonical_user_id)

4 - 创建 Cloudfront 发行版

请注意，在 Boto 2.0 版本（当时尚未正式发布）之前，boto 并不完全支持自定义来源和私有发行版写作。下面的代码从 boto 2.0 分支中提取一些代码并将其组合在一起以使其运行，但它并不漂亮。 2.0 分支处理这个问题更加优雅 - 如果可能的话，绝对使用它！

import boto
from boto.cloudfront.distribution import DistributionConfig
from boto.cloudfront.exception import CloudFrontServerError

import re

def get_domain_from_xml(xml):
    results = re.findall("<DomainName>([^<]+)</DomainName>", xml)
    return results[0]

#custom class to hack this until boto v2.0 is released
class HackedStreamingDistributionConfig(DistributionConfig):

    def __init__(self, connection=None, origin='', enabled=False,
                 caller_reference='', cnames=None, comment='',
                 trusted_signers=None):
        DistributionConfig.__init__(self, connection=connection,
                                    origin=origin, enabled=enabled,
                                    caller_reference=caller_reference,
                                    cnames=cnames, comment=comment,
                                    trusted_signers=trusted_signers)

    #override the to_xml() function
    def to_xml(self):
        s = '<?xml version="1.0" encoding="UTF-8"?>\n'
        s += '<StreamingDistributionConfig xmlns="http://cloudfront.amazonaws.com/doc/2010-07-15/">\n'

        s += '  <S3Origin>\n'
        s += '    <DNSName>%s</DNSName>\n' % self.origin
        if self.origin_access_identity:
            val = self.origin_access_identity
            s += '    <OriginAccessIdentity>origin-access-identity/cloudfront/%s</OriginAccessIdentity>\n' % val
        s += '  </S3Origin>\n'


        s += '  <CallerReference>%s</CallerReference>\n' % self.caller_reference
        for cname in self.cnames:
            s += '  <CNAME>%s</CNAME>\n' % cname
        if self.comment:
            s += '  <Comment>%s</Comment>\n' % self.comment
        s += '  <Enabled>'
        if self.enabled:
            s += 'true'
        else:
            s += 'false'
        s += '</Enabled>\n'
        if self.trusted_signers:
            s += '<TrustedSigners>\n'
            for signer in self.trusted_signers:
                if signer == 'Self':
                    s += '  <Self/>\n'
                else:
                    s += '  <AwsAccountNumber>%s</AwsAccountNumber>\n' % signer
            s += '</TrustedSigners>\n'
        if self.logging:
            s += '<Logging>\n'
            s += '  <Bucket>%s</Bucket>\n' % self.logging.bucket
            s += '  <Prefix>%s</Prefix>\n' % self.logging.prefix
            s += '</Logging>\n'
        s += '</StreamingDistributionConfig>\n'

        return s

    def create(self):
        response = self.connection.make_request('POST',
            '/%s/%s' % ("2010-11-01", "streaming-distribution"),
            {'Content-Type' : 'text/xml'},
            data=self.to_xml())

        body = response.read()
        if response.status == 201:
            return body
        else:
            raise CloudFrontServerError(response.status, response.reason, body)


cf = boto.connect_cloudfront()

s3_dns_name = "stream.example.com.s3.amazonaws.com"
comment = "example streaming distribution"
oai = "<OAI ID from step 2 above like E23KRHS6GDUF5L>"

#Create a distribution that does NOT need signed URLS
hsd = HackedStreamingDistributionConfig(connection=cf, origin=s3_dns_name, comment=comment, enabled=True)
hsd.origin_access_identity = oai
basic_dist = hsd.create()
print("Distribution with basic URLs: %s" % get_domain_from_xml(basic_dist))

#Create a distribution that DOES need signed URLS
hsd = HackedStreamingDistributionConfig(connection=cf, origin=s3_dns_name, comment=comment, enabled=True)
hsd.origin_access_identity = oai
#Add some required signers (Self means your own account)
hsd.trusted_signers = ['Self']
signed_dist = hsd.create()
print("Distribution with signed URLs: %s" % get_domain_from_xml(signed_dist))

5 - 测试您可以从 cloudfront 下载对象，但不能从 s3 下载对象

您现在应该能够验证：

• stream.example.com.s3.amazonaws.com/video.mp4 - 应该提供 AccessDeniedsigned_distribution
• 。 cloudfront.net/video.mp4 - 应该给出 MissingKey （因为 URL 未签名）
• basic_distribution.cloudfront.net/video.mp4 - 应该可以正常工作

必须调整测试以适应您的情况流播放器，但基本思想是只有基本的 cloudfront url 才可以工作。

6 - 为 CloudFront 创建密钥对

我认为执行此操作的唯一方法是通过 Amazon 的网站。进入您的 AWS“帐户”页面并单击“安全凭证”链接。单击“密钥对”选项卡，然后单击“创建新密钥对”。这将为您生成一个新的密钥对并自动下载私钥文件（pk-xxxxxxxxx.pem）。确保密钥文件安全且私密。另请记下亚马逊的“密钥对 ID”，因为我们在下一步中将需要它。

7 - 在 Python 中生成一些 URL

从 boto 版本 2.0 开始，似乎不支持生成签名的 CloudFront URL。 Python 的标准库中不包含 RSA 加密例程，因此我们必须使用额外的库。我在这个例子中使用了 M2Crypto。

对于非流式传输分发，您必须使用完整的 cloudfront URL 作为资源，但是对于流式传输，我们仅使用视频文件的对象名称。请参阅下面的代码，了解生成仅持续 5 分钟的 URL 的完整示例。

此代码大致基于 Amazon 在 CloudFront 文档中提供的 PHP 示例代码。

from M2Crypto import EVP
import base64
import time

def aws_url_base64_encode(msg):
    msg_base64 = base64.b64encode(msg)
    msg_base64 = msg_base64.replace('+', '-')
    msg_base64 = msg_base64.replace('=', '_')
    msg_base64 = msg_base64.replace('/', '~')
    return msg_base64

def sign_string(message, priv_key_string):
    key = EVP.load_key_string(priv_key_string)
    key.reset_context(md='sha1')
    key.sign_init()
    key.sign_update(str(message))
    signature = key.sign_final()
    return signature

def create_url(url, encoded_signature, key_pair_id, expires):
    signed_url = "%(url)s?Expires=%(expires)s&Signature=%(encoded_signature)s&Key-Pair-Id=%(key_pair_id)s" % {
            'url':url,
            'expires':expires,
            'encoded_signature':encoded_signature,
            'key_pair_id':key_pair_id,
            }
    return signed_url

def get_canned_policy_url(url, priv_key_string, key_pair_id, expires):
    #we manually construct this policy string to ensure formatting matches signature
    canned_policy = '{"Statement":[{"Resource":"%(url)s","Condition":{"DateLessThan":{"AWS:EpochTime":%(expires)s}}}]}' % {'url':url, 'expires':expires}

    #now base64 encode it (must be URL safe)
    encoded_policy = aws_url_base64_encode(canned_policy)
    #sign the non-encoded policy
    signature = sign_string(canned_policy, priv_key_string)
    #now base64 encode the signature (URL safe as well)
    encoded_signature = aws_url_base64_encode(signature)

    #combine these into a full url
    signed_url = create_url(url, encoded_signature, key_pair_id, expires);

    return signed_url

def encode_query_param(resource):
    enc = resource
    enc = enc.replace('?', '%3F')
    enc = enc.replace('=', '%3D')
    enc = enc.replace('&', '%26')
    return enc


#Set parameters for URL
key_pair_id = "APKAIAZCZRKVIO4BQ" #from the AWS accounts page
priv_key_file = "cloudfront-pk.pem" #your private keypair file
resource = 'video.mp4' #your resource (just object name for streaming videos)
expires = int(time.time()) + 300 #5 min

#Create the signed URL
priv_key_string = open(priv_key_file).read()
signed_url = get_canned_policy_url(resource, priv_key_string, key_pair_id, expires)

#Flash player doesn't like query params so encode them
enc_url = encode_query_param(signed_url)
print(enc_url)

8 - 尝试 URL

希望您现在应该有一个如下所示的工作 URL：

video.mp4%3FExpires%3D1309979985%26Signature%3DMUNF7pw1689FhMeSN6JzQmWNVxcaIE9mk1x~KOudJky7anTuX0oAgL~1GW-ON6Zh5NFLBoocX3fUhmC9FusAHtJUzWyJVZLzYT9iLyoyfWMsm2ylCDBqpy5IynFbi8CUajd~CjYdxZBWpxTsPO3yIFNJI~R2AFpWx8qp3fs38Yw_%26Key-Pair-Id%3DAPKAIAZRKVIO4BQ

将其放入您的 js 中，您应该拥有如下所示的内容（来自 Amazon CloudFront 文档中的 PHP 示例） ):

var so_canned = new SWFObject('http://location.domname.com/~jvngkhow/player.swf','mpl','640','360','9');
    so_canned.addParam('allowfullscreen','true');
    so_canned.addParam('allowscriptaccess','always');
    so_canned.addParam('wmode','opaque');
    so_canned.addVariable('file','video.mp4%3FExpires%3D1309979985%26Signature%3DMUNF7pw1689FhMeSN6JzQmWNVxcaIE9mk1x~KOudJky7anTuX0oAgL~1GW-ON6Zh5NFLBoocX3fUhmC9FusAHtJUzWyJVZLzYT9iLyoyfWMsm2ylCDBqpy5IynFbi8CUajd~CjYdxZBWpxTsPO3yIFNJI~R2AFpWx8qp3fs38Yw_%26Key-Pair-Id%3DAPKAIAZRKVIO4BQ');
    so_canned.addVariable('streamer','rtmp://s3nzpoyjpct.cloudfront.net/cfx/st');
    so_canned.write('canned');

---

总结

如您所见，这并不容易！ boto v2 对设置发行版有很大帮助。我会看看是否可以在那里获取一些 URL 生成代码来改进这个伟大的库！

Answer 2

在 Python 中，为文件生成过期 URL 的最简单方法是什么。我安装了 boto，但我不知道如何从流分发版获取文件。

您可以为资源生成过期的签名 URL。 Boto3 文档有一个很好的示例解决方案：

导入日期时间

从 cryptography.hazmat.backends 导入 default_backend
从 cryptography.hazmat.primitives 导入哈希值
从 cryptography.hazmat.primitives 导入序列化
来自 cryptography.hazmat.primitives.asymmetry 导入填充
从 botocore.signers 导入 CloudFrontSigner


def rsa_signer(消息):
    以 open('path/to/key.pem', 'rb') 作为 key_file：
        private_key = 序列化.load_pem_private_key(
            key_file.read(), 
            密码=无，
            后端=default_backend()
        ）
    签名者 = private_key.signer(padding.PKCS1v15(), hashes.SHA1())
    签名者.更新（消息）
    返回signer.finalize()

key_id = 'AKIAIOSFODNN7EXAMPLE'
url = 'http://d2949o5mkkp72v.cloudfront.net/hello.txt'
过期日期 = datetime.datetime(2017, 1, 1)

cloudfront_signer = CloudFrontSigner(key_id, rsa_signer)

# 创建一个签名 URL，该 URL 在特定到期日期之前有效
# 使用固定策略提供。
signed_url = cloudfront_signer.generate_presigned_url(
    网址，date_less_than=expire_date）
打印（签名网址）