bigdata

bigdata

文章 0 浏览 2

没有互斥体的基于模数的负载平衡?

我可能会搞错,但这是我的问题和建议的解决方案: 您有一个 50+ GB 的文件,其中包含数亿条独立记录,需要非常快速地处理。我当前的解决方案是每小时…

远山浅 2024-11-04 21:20:07 1 0

在 MATLAB 中处理大型 CSV 文件

我必须处理一个最大 2GB 的大 CSV 文件。更具体地说,我必须将所有这些数据上传到 mySQL 数据库,但在我必须对此进行一些计算之前,所以我需要在 MATL…

沙沙粒小 2024-11-02 08:18:43 1 0

在 Amazon S3 中逐行读取文件?

是否可以使用 Amazon S3 逐行读取文件?我希望让人们在某个地方上传大文件,然后让一些代码(可能在亚马逊上运行)逐行读取他们的文件并用它做一些事…

花想c 2024-10-31 14:28:31 2 0

大约多少量的半结构化数据足以建立 Hadoop 集群?

我知道,Hadoop 不仅是一般半结构化数据处理的替代方案——我可以使用普通的制表符分隔数据和一堆 UNIX 工具(cut、grep、sed...)和手写的 python 脚…

一梦等七年七年为一梦 2024-10-11 13:44:08 2 0

以编程方式设置 MaxItemsInObjectGraph

我有一个在客户端和服务器端使用 WCF 的应用程序。当我返回大量数据时出现错误: 尝试序列化参数 http://tempuri.org/:GetCurrentDatabaseObjectsResu…

私野 2024-10-10 18:17:57 2 0

使用combn()和bigmemory包生成一个非常大的字符串组合矩阵

我有一个由 1,344 个唯一字符串组成的向量 x。我想生成一个矩阵,为我提供所有可能的三个值组(无论顺序如何),并将其导出到 csv。 我在 64 位 Ubunt…

花开半夏魅人心 2024-10-08 04:53:12 4 0

大数据排序与搜索

我有两个数据文件,每个文件有 100 个字符行。文件 A:108 行,文件 B:106 行。我需要找到文件 B 中不在文件 A 中的所有字符串。 起初我想将这两个文…

醉殇 2024-09-27 11:39:05 5 0

实施 MySQL NDB Cluster 有哪些限制?

我想为 MySQL Cluster 6 实现 NDB Cluster。我想为至少有 200 万条记录的非常庞大的数据结构执行此操作。 我想知道实施 NDB cluster 是否有任何限制。…

孤君无依 2024-08-16 12:34:33 5 0

每个表中超过 500 万条记录时数据库缓慢检索/更新/插入问题

如何构建数据库以避免速度变慢? (引擎:MyISAM) 目前我的数据库一张表中有超过500万条记录,导致数据检索缓慢。 我目前正在寻找构建数据库的方法以…

人生百味 2024-08-15 14:00:00 8 0

数据库规模巨大

我有以下问题。 我们有一个数据库,在数据库中存储二进制文件。 我们知道数据库的大小可能很大,因此我们从数据库中删除了所有二进制文件并对其使用了…

坚持沉默 2024-07-30 06:12:37 7 0

非常大的 Jar 文件和 FAT32

我正在对我们正在开发的桌面应用程序的一部分进行一些分析。 一项要求是它能够执行某些旧文件格式的 I/O,这些文件格式在实践中每种格式的运行大小高…

软甜啾 2024-07-17 07:01:47 6 0
更多

推荐作者

烙印

文章 0 评论 0

singlesman

文章 0 评论 0

独孤求败

文章 0 评论 0

晨钟暮鼓

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文