large-data

large-data

文章 0 浏览 5

存储大型可搜索文本文件的最佳方式

我正在开发一个在线圣经搜索程序。圣经是一本相当大的书,纯文本占用了近 5MB 的空间。我计划在程序中实现 API,并允许其他网站包含自己的圣经搜索小…

愁以何悠 2024-12-05 01:40:12 4 0

java:非常大的树?

目标是建造非常大的树。 我所说的“非常大”是指数亿个节点,相当于几千兆字节。 问题是通用数据结构的开销太大。我买不起“节点”对象和子“地图”。…

末蓝 2024-12-02 15:05:49 5 0

插入忽略或插入不在其中的位置

我有一个 900 万行的表,由于其庞大的规模,我正在努力处理所有这些数据。 我想要做的是将导入 CSV 添加到表中而不覆盖数据。 在我做这样的事情之前;…

谎言月老 2024-12-02 07:49:42 9 0

重构循环?

我想循环超过 200,000 个用户数据集来过滤 30,000 个产品,我如何优化这个嵌套的大循环以获得最佳性能? //settings , 5 max per user, can up to 200…

浮世清欢 2024-12-01 23:59:29 4 0

如何在不使用数据库切片的情况下在视图中显示大列表?

我有一项服务,可以通过多个表的多次迭代和计算生成大型地图。我的问题是我无法使用分页偏移量来切片数据,因为数据来自多个表并且数据上发生了不同的…

迎风吟唱 2024-11-30 11:05:54 5 0

Hibernate 存储过程调用导致 OutOfMemory

数据库是 Oracle 11g 我正在使用 Hibernate 的命名查询来执行一个存储过程,返回一个非常大的数据集(超过 200 万行),例如 : Query query = sessio…

素染倾城色 2024-11-29 11:28:45 4 0

Parallel.ForEach 可能会导致“内存不足”如果使用带有大对象的可枚举,则会出现异常

我正在尝试将数据库中存储图像的数据库迁移到数据库中指向硬盘驱动器上的文件的记录。我试图使用 Parallel.ForEach 来加快进程 使用此方法查询出数据…

浅浅 2024-11-28 03:46:23 6 0

使用WCF提供大型报表数据集

我需要一个应用程序来访问远程数据库的报告数据。我们当前有一个 WCF 服务来处理该数据库的 I/O。通常,应用程序只是在 WCF 服务与其自身之间来回发送…

追我者格杀勿论 2024-11-27 00:28:45 3 0

有没有办法将结果查询加载到内存中?

我有一个巨大的数据库(21亿行),我需要执行一些计算来提取一些统计结果。据我了解,直接在这个数据库上执行计算显然是不明智的。 我现在想做的是将…

在梵高的星空下 2024-11-26 23:58:53 3 0

通过 REST 发送大量数据 - 最佳实践

通过 REST 将 100,000 条记录从应用程序的一部分发送到另一台服务器上该应用程序的另一部分是一种好方法。 我正在考虑在一个 POST 请求中发送 PKEY 数…

深巷少女 2024-11-26 12:48:15 3 0

大数据探索和分析的架构

我们计划为大量事件(数百万个)构建一个数据探索系统。 事件由时间、纬度/经度坐标和一些其他具有域约束值(如类型和用户 ID)的属性组成。 目标是在…

镜花水月 2024-11-26 07:34:19 9 0

大型稀疏矩阵的奇异值分解的Java实现

我只是想知道是否有人知道大型稀疏矩阵的奇异值分解(SVD)的java实现?我需要这个实现来进行潜在语义分析(LSA)。 我尝试了 UJMP 和 JAMA 的软件包…

尘世孤行 2024-11-26 05:23:55 6 0

如何将流与返回大型数据集的 WCF 服务结合使用?

我对 WCF 相当陌生,我正在尝试弄清楚流式传输的工作原理。我基本上有一个 Web 服务,应该从数据库返回一些信息。返回的数据可能非常大。我想知道是否…

掩耳倾听 2024-11-25 01:17:51 5 0

Linq并添加大量数据

我需要将大量数据插入到 sqlite 数据库中。 我使用 Linq to Entities。 添加大量数据 1M+ 时遇到问题。 内存不够或者时间很长。 此代码 - 速度快,但…

落叶缤纷 2024-11-24 06:32:08 6 0

WPF中海量数据绑定Combobox

我正在尝试将组合框与自定义对象列表绑定。我的对象列表有大约 15K 记录,单击组合框后组合框需要很长时间才能显示数据。 下面是代码: 代码背后: Li…

凉宸 2024-11-19 01:29:34 5 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文