large-data-volumes

large-data-volumes

文章 0 浏览 7

Web 服务中序列化的成本

我的下一个项目涉及在企业框架内创建数据 API。这些数据将由在不同软件平台上运行的多个应用程序消耗。虽然我的同事普遍喜欢 SOAP,但我想使用 RESTfu…

独自←快乐 2024-09-26 15:51:59 13 0

在巨大的数据集上计算令牌计数器

我需要检查大量文本(> 2 Tb,维基百科完整转储)并为每个看到的标记保留两个计数器(每个计数器根据当前事件递增)。我需要对这些计数器执行的唯一操…

梦里寻她 2024-09-26 15:23:50 15 0

使用 Apache CXF 传输大消息

我正在编写 CXF WS 来上传一些大文件 - 最多 1GB。在大多数情况下,它们不会> 10-15MB,但问题是加载文件并使用标准绑定将其作为常规 byte[] 发送是无…

温折酒 2024-09-26 06:03:14 11 0

Parallel.ForEach 在处理极大的数据集时抛出异常

我的问题集中在一些 Parallel.ForEach 代码上,这些代码过去可以正常工作,现在我们的数据库已经增长到原来的 5 倍,它几乎经常崩溃。 Parallel.ForEa…

泅人 2024-09-25 22:27:00 14 0

向具有超过 1500 万条记录的 SQL 列添加自动编号

我需要向 SQL 2005 中包含大约 1500 万条记录的现有表添加一个自动编号列。 您认为这需要多长时间?更好的方法是什么?…

清君侧 2024-09-25 06:52:55 11 0

跨多个数据库的 SQLite 视图。这样可以吗?有更好的办法吗?

使用 SQlite 我有一个大型数据库,分为几年: DB_2006_thru_2007.sq3 DB_2008_thru_2009.sq3 DB_current.sq3 它们都有一个名为 hist_tbl 的表,其中包…

执手闯天涯 2024-09-24 20:00:41 12 0

将 SQL Server 数据库中超过十亿行的一列复制到另一列

数据库:SQL Server 2005 问题:将十亿以上的值从同一个表中的一列复制到另一列 行。 test_table (int id, bigint bigid) 尝试的事情1:更新查询 upda…

红衣飘飘貌似仙 2024-09-24 16:34:17 10 0

如何建立一个单词表

所以现在我想制作爱沙尼亚语单词列表~大约 2000 万个小写的独特单词。要获取单词列表的输入,可以使用爱沙尼亚语料库。语料库文件采用文本编码倡议 (T…

黑色毁心梦 2024-09-24 02:09:16 8 0

针对大数据集的 jQuery 网格建议?

我正在寻找 jQuery 网格建议,并遇到了这个问题/答案: https://stackoverflow.com/questions/159025/jquery-grid-recommendations 在浏览许多jQuery …

三月梨花 2024-09-19 00:28:29 12 0

如何让用户轻松选择在 Java Swing 应用程序中分配多少内存?

我们有一个处理相对大量数据的 Swing 应用程序。例如,我们目前处理包含数百万行数据的 CSV 文件。出于性能和简单性的原因,我们将所有数据保留在内存…

戏剧牡丹亭 2024-09-18 13:35:45 16 0

如何有效地选择/查询7万条json数据?

我现在正在开发 javascript 库,其中包含印度尼西亚的 70,000 个村庄(可通过 http://bisbak.com/regina/ 访问),我构建了一个数据浏览器小部件。在 …

z祗昰~ 2024-09-17 17:58:57 10 0

一次只获取 N 行 (MySQL)

我正在寻找一种方法来从一个大表中以较小的块获取所有数据。 请指教。…

穿越时光隧道 2024-09-16 16:09:51 10 0

PHP cURL“致命错误:允许的内存大小”对于大数据集

我知道设置内部存储器的选项 ini_set("memory_limit","30M"); ,但我想知道是否有更好的方法来查询数据? 我有一个 WHILE 循环来检查是否需要查询另外…

幸福还没到 2024-09-15 20:05:31 9 0

使用cursor.copy_from() 的psycopg2 COPY 在大输入时冻结

考虑以下 Python 代码,使用 psycopg2 cursor 对象(为了清楚起见,更改或省略了一些列名称): filename='data.csv' file_columns=('id', 'node_id',…

流绪微梦 2024-09-14 04:19:26 13 0

在 DataGrid 中显示大型集合

收藏物品数量:~100k 列中显示的字段数量:4-10 问题本身 - 集合是使用 EntityFramework 从数据库中获取的。在开发计算机上加载和具体化所有所需数据…

套路撩心 2024-09-13 03:14:59 10 0
更多

推荐作者

牛↙奶布丁

文章 0 评论 0

COSO

文章 0 评论 0

落叶

文章 0 评论 0

暗地喜欢

文章 0 评论 0

qq_i8qOEG

文章 0 评论 0

qq_Wl4Sbi

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文