有效地重新创建对象列表

Question

我正在尝试转换使用 SQLAlchemy 查询的对象列表。

我遇到的问题是该过程需要大约 18-20 秒来循环、处理并将数据发送到 frontdnd。数据大约有 500 万行，这对于投入生产来说太慢了。

这是我使用的示例。

test = [
   {"id": 5, "date":"2022-01-01 00:00:00"},
   {"id": 5, "date": "2022-01-01 00:00:00"},
   {"id": 5, "date": "2022-01-01 00:00:00"},
   {"id": 5, "date": "2022-01-01 00:00:00"},
]

test_dict = {}

for i in test:
    if i["id"] not in test_dict:
        test_dict[i["id"]] = []
    test_dict[i["id"]].append(i["date"].isoformat)

预期的输出应该是，例如，

[
   {5: [date, date, date, date, date]},
   {6: [date]}
]

我完全理解这不是工作代码，我不打算修复它。我只是临时写的，但我的主要关注点是如何使用 for 循环来加快进程。

谢谢大家的帮助。

感谢大家迄今为止的回答。

提供更多信息，数据需要发送到前端，然后呈现在图表上。该数据大约每分钟更新一次，也可以在 2 个时间范围内请求。这些时间范围始终至少为 35 天，因此返回的行始终至少为 500 万行左右。为最终用户加载图表需要 20 秒，我想说这太慢了。 for 循环是造成此瓶颈的原因，但最好将 for 循环缩短到至少 5 秒。

谢谢

额外信息：

不幸的是，处理数据库端不是一个选项。数据必须在 API 内转换为正确的格式。例如，不能将数据连接成正确的格式或在查询期间转换为 JSON。

Answer 1

如果我目前了解，您可以使用 pandas dataframes

test = [
   {"id": 5, "date":"2022-01-01 00:00:00"},
   {"id": 5, "date": "2022-02-01 00:00:00"},
   {"id": 5, "date": "2022-03-01 00:00:00"},
   {"id": 5, "date": "2022-04-01 00:00:00"},
   {"id": 6, "date": "2022-05-01 00:00:00"},
]
import pandas as pd

df = pd.DataFrame.from_dict(test)
res = df.groupby("id").agg(list)
print(res)

输出：

                                                                                   date
id                                                                                      
5   [2022-01-01 00:00:00, 2022-02-01 00:00:00, 2022-03-01 00:00:00, 2022-04-01 00:00:00]
6                                                                  [2022-05-01 00:00:00]

如果您希望它作为 dict，您可以使用 res.to_dict()

Answer 2

您可能不应该向前端发送 500 万个对象。

通常我们使用分页、过滤器和排序元素。

然后，如果您真的愿意这样做，最快的方法可能是缓存您的数据，例如通过在服务器上创建和维护客户端将下载的 json 文件。