bigdata

bigdata

文章 0 浏览 5

BitTorrent 对等点可以处理大量空闲 torrent 的播种吗

我正在考虑使用 BitTorrent 来解决大型数据传播问题,其中数据源为千万亿级,用户需要高达数 TB 的数据。一些细节 种子数量可能达到数百万 种子大小从…

停顿的约定 2024-11-25 15:49:01 6 0

Pyrocache 与 Memcached

我在一些项目中使用了 PyroCMS,我非常喜欢它。我目前正在基于它开发另一个网站。在我的网站中,我需要处理一个大数据库,它并不是很大,但足够大到需…

浅唱々樱花落 2024-11-25 02:57:05 8 0

针对特定需求的 NoSQL 推荐

我正在使用具有以下简单结构的 MySql 表: ID_A:整数 8 ID_B:整数 8 主键:ID_A、ID_B 索引:ID_B 该 MySQL 表包含超过 5 亿行,权重为 20Go。 我…

攒一口袋星星 2024-11-24 04:15:55 5 0

渲染海量数据

我有一个 3D 浮点矩阵,在最坏的情况下,大小可能是(200000x1000000x100),我想使用 Qt/OpenGL 可视化该矩阵。 由于元素的数量非常多,我想以一种方…

情愿 2024-11-23 23:20:36 6 0

如何取 MongoDB 与 CouchDB 中大数据的平均值?

我正在看这个图表... http:// /www.mongodb.org/display/DOCS/MongoDB,+CouchDB,+MySQL+Compare+Grid ...其中表示: 查询方法 构建索引 CouchDB - Map…

踏月而来 2024-11-19 16:03:16 9 0

Facebook 等网站使用什么格式来存储个人资料数据?

我最近开始处理存储在 XML 文件中的大量数据。我一直想知道 Facebook 和其他网站如何存储与个人个人资料相关的所有信息(姓名、个人资料图片、墙贴等…

橘味果▽酱 2024-11-18 09:06:46 7 0

大型天体物理模拟数据的数据存储

我是天体物理学的研究生。我使用主要由其他人在十多年左右开发的代码来运行大型模拟。有关这些代码的示例,您可以查看小工具 http://www.mpa-garching…

时光暖心i 2024-11-17 17:52:13 7 0

ML/数据挖掘/大数据:用于编程和社区支持的流行语言

Closed. This question is opinion-based. It is not currently accepting answers. 想要改进这个问题?更新问题,以便可以通过编辑这篇文章用事实和…

长发绾君心 2024-11-16 15:21:30 8 0

处理错误数据库的最佳技术(并行计算?)

我的任务是提取我们网站的所有谷歌分析数据并对其进行分析并放入数据库中,然后生成一些关于该数据的报告。 问题是我最终在表中得到了近 200 万条记录…

万水千山粽是情ミ 2024-11-14 12:54:39 8 0

什么服务让我查询大数据,让我提供非简单的查询代码

我想创建巨大的数据集(每行 25 个整数,每秒 30 行,乘以 60)。 另一方面,我想查询它以查找匹配特定条件的行(例如,25 个整数中不超过 5 个整数超…

晨与橙与城 2024-11-10 21:41:56 6 0

没有互斥体的基于模数的负载平衡?

我可能会搞错,但这是我的问题和建议的解决方案: 您有一个 50+ GB 的文件,其中包含数亿条独立记录,需要非常快速地处理。我当前的解决方案是每小时…

远山浅 2024-11-04 21:20:07 7 0

在 MATLAB 中处理大型 CSV 文件

我必须处理一个最大 2GB 的大 CSV 文件。更具体地说,我必须将所有这些数据上传到 mySQL 数据库,但在我必须对此进行一些计算之前,所以我需要在 MATL…

沙沙粒小 2024-11-02 08:18:43 7 0

在 Amazon S3 中逐行读取文件?

是否可以使用 Amazon S3 逐行读取文件?我希望让人们在某个地方上传大文件,然后让一些代码(可能在亚马逊上运行)逐行读取他们的文件并用它做一些事…

花想c 2024-10-31 14:28:31 9 0

大约多少量的半结构化数据足以建立 Hadoop 集群?

我知道,Hadoop 不仅是一般半结构化数据处理的替代方案——我可以使用普通的制表符分隔数据和一堆 UNIX 工具(cut、grep、sed...)和手写的 python 脚…

一梦等七年七年为一梦 2024-10-11 13:44:08 10 0

以编程方式设置 MaxItemsInObjectGraph

我有一个在客户端和服务器端使用 WCF 的应用程序。当我返回大量数据时出现错误: 尝试序列化参数 http://tempuri.org/:GetCurrentDatabaseObjectsResu…

私野 2024-10-10 18:17:57 7 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文