如何删除 GAE 上的 feed 中未找到的实体

发布于 2024-12-02 18:56:34 字数 626 浏览 2 评论 0原文

我正在更新源中的项目（可以包含大约 40000 个项目）并将项目一次添加到数据存储 200 个项目，问题是源可能会更改，并且某些项目可能会从源中删除。我有以下代码：

class FeedEntry(db.Model):
    name = db.StringProperty(required=True)

def updateFeed(offset, number=200):
    response = fetchFeed(offset, number)
    feedItems = parseFeed(response)
    feedEntriesToAdd = []
    for item in feedItems:
        feedEntriesToAdd.append(
            FeedEntry(key_name=item.id, name=item.name)
        )
    db.put(feedEntriesToAdd)

如何找出哪些项目不在提要中并将其从数据存储中删除？我考虑过创建一个项目列表（在数据存储中），然后从其中删除我更新的所有项目，剩下的将是要删除的项目。 - 但这似乎相当慢。

PS：所有 item.id 对于该 feed 项目来说都是唯一的并且是一致的。

原文

I am updating and adding items from a feed(which can have about 40000 items) to the datastore 200 items at a time, the problem is that the feed can change and some items might be deleted from the feed.
I have this code:

class FeedEntry(db.Model):
    name = db.StringProperty(required=True)

def updateFeed(offset, number=200):
    response = fetchFeed(offset, number)
    feedItems = parseFeed(response)
    feedEntriesToAdd = []
    for item in feedItems:
        feedEntriesToAdd.append(
            FeedEntry(key_name=item.id, name=item.name)
        )
    db.put(feedEntriesToAdd)

How do I find out which items were not in the feed and delete them from the datastore?
I thought about creating a list of items(in datastore) and just remove from there all the items that I updated and the ones left will be the ones to delete. - but that seems rather slow.

PS: All item.id are unique for that feed item and are consistent.

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

关于从前 2024-12-09 18:56:34

如果添加带有 auto_now=True 的 DateTimeProperty，它将记录每个实体的最后修改时间。由于您更新了 feed 中的每个项目，因此当您完成时，它们的时间都会晚于您开始的那一刻，因此日期在此之前的任何内容都不再出现在 feed 中。

Xavier 的生成计数器也同样好 - 我们所需要的只是保证在刷新之间增加，并且在刷新期间永远不会减少。

从文档中不确定，但我预计 DateTimeProperty 比 IntegerProperty 更大。后者是一个 64 位整数，因此它们可能大小相同，或者 DateTimeProperty 可能存储多个整数。群组帖子建议也许它是 10 个字节，而不是 8 个字节。

但请记住，通过添加一个用于查询的额外属性，您无论如何都会添加另一个索引，因此，字段大小的差异被稀释为开销的一部分。此外，即使按 0.24 美元/G/月计算，40k 乘以几个字节也不算多。

对于生成或日期时间，您不一定需要立即删除数据。您的其他查询可以根据最近刷新的日期/生成进行过滤，这意味着您不必立即删除数据。如果提要（或您对它的解析）变得很有趣并且无法生成任何项目，或者只生成一些项目，则将上次刷新作为备份可能会很有用。完全取决于应用程序是否值得拥有。

回复收藏 0 原文

埋葬我深情 2024-12-09 18:56:34

我会添加一个生成计数器

class FeedEntry(db.Model):
    name = db.StringProperty(required=True)
    generation = db.IntegerProperty(required=True)
def updateFeed(offset, generation, number=200):
    response = fetchFeed(offset, number)
    feedItems = parseFeed(response)
    feedEntriesToAdd = []
    for item in feedItems:
        feedEntriesToAdd.append(
            FeedEntry(key_name=item.id, name=item.name,generation=generation)
        )
    db.put(feedEntriesToAdd)
def deleteOld(generation):
    q = db.GqlQuery("SELECT * FROM FeedEntry " +
            "WHERE generation != :1" ,generation )
    db.delete(generation)

I would add a generation counter

class FeedEntry(db.Model):
    name = db.StringProperty(required=True)
    generation = db.IntegerProperty(required=True)
def updateFeed(offset, generation, number=200):
    response = fetchFeed(offset, number)
    feedItems = parseFeed(response)
    feedEntriesToAdd = []
    for item in feedItems:
        feedEntriesToAdd.append(
            FeedEntry(key_name=item.id, name=item.name,generation=generation)
        )
    db.put(feedEntriesToAdd)
def deleteOld(generation):
    q = db.GqlQuery("SELECT * FROM FeedEntry " +
            "WHERE generation != :1" ,generation )
    db.delete(generation)

回复收藏 0 原文

~没有更多了~