如何将文件锁定在AWS S3上？

Question

通过锁定，我并不是说对象锁定S3可用。我说的是以下情况：

我有多个（python）流程，这些过程读写并写入S3上托管的单个文件；也许该文件是需要定期更新的各种索引。

这些过程并行运行，因此我要确保在给定时间只能写入一个过程（以避免伴随写入clobbering数据）。

如果我将其写入共享文件系统，我只能问使用flock并将其用作同步对文件的访问的一种方式，但是我不能在S3 AFAICT上这样做。

在AWS S3上锁定文件的最简单方法是什么？

Answer 1

不幸的是，AWS S3没有提供本机锁定对象的方式 - 如您指出的那样，没有羊群模拟。相反，您有一些选项：例如，

使用数据库

，例如，Postgres提供咨询锁。设置此问题时，您将需要执行以下操作：

1. 确保所有流程都可以访问数据库。
2. 确保数据库可以处理传入的连接（如果您运行某种类型的大型处理网格，则可能需要将Postgres实例放在 pgbouncer ）
3. 请注意，在完成锁之前，请勿关闭客户的会话。

使用咨询锁时，您还需要考虑其他一些警告 - 从Postgres文档中：

咨询锁和常规锁都存储在共享内存池中，其大小由配置变量max_locks_per_per_transaction和max_connections定义。必须注意不要耗尽此内存，否则服务器将根本无法授予任何锁。这对服务器可授予的咨询锁的数量施加了上限，通常在数十万，具体取决于服务器的配置方式。

在某些情况下，使用咨询锁定方法，尤其是在涉及明确订购和限制条款的查询中，必须小心以控制获得的锁，因为对SQL表达式进行了评估的顺序

请使用我看到的外部服务，

我看到人们使用了<<<<<<< a href =“ https://lockable.dev” rel =“ nofollow noreferrer”>可锁定解决此问题。来自他们的 docs ，他们似乎有一个python库：

$ pip安装可锁定-dev

from lockable import Lock

with Lock('my-lock-name'):
    #do stuff

如果您不使用Python，则可以通过击中一些HTTP端点来使用他们的服务：

curl https://api.lockable.dev/v1/acquire/my-lock-name

curl https://api.lockable.dev/v1/release/my-lock-name