large-data

large-data

文章 0 浏览 4

存储大量人口统计数据以便轻松分析 - OLAP、ORM、自定义解决方案?

我们正在建立一个人口统计数据数据库以供分析;这些数据无处不在,从犯罪数据到人口普查数据再到其他数据。我们希望能够通过地理、度量或时间段进行深…

猥琐帝 2024-12-25 11:58:26 2 0

MySQL 关于优化大型数据库查询的帮助/建议

我有一个 MyISAM mysql 表: CREATE TABLE IF NOT EXISTS `songs` ( `rid` int(11) NOT NULL auto_increment, `aid` int(11) NOT NULL, `song_title` …

成熟的代价 2024-12-23 18:27:35 1 0

大量数据......如此混乱。我不想减慢系统速度

我的应用程序从网络下载信息(顺便说一句,根据网站规则,这是合法的), 然后在解析完每个页面(64页)后将它们存储到一个数组中。 这些字符串数组被…

錯遇了你 2024-12-22 08:39:03 0 0

大数据操作的数据损坏

我最近遇到了一些非常奇怪的数据损坏问题。 基本上我所做的是: 使用“scp”将一些大数据(50个文件,每个文件大约8GB)从一台服务器传输到hpcc(高性…

很糊涂小朋友 2024-12-20 18:01:50 0 0

在大型 MySQL 数据集中搜索部分单词的最佳方法

我在 stackoverflow 上寻找过这个问题,但没有找到一个很好的答案。 我有一个 MySQL 数据库,其中有一些表,其中包含有关特定产品的信息。当最终用户…

葮薆情 2024-12-17 10:29:18 1 0

Scala PriorityQueue on Array[Int] 具有复杂比较函数的性能问题(需要缓存)

该问题涉及 Scala PriorityQueue[Array[Int]] 在大数据集上的性能。需要进行以下操作:入队、出队和过滤。目前,我的实现如下: 对于 Array[Int] 类型…

后来的我们 2024-12-17 07:02:34 0 0

R 中的无限函数/循环:数据管理

我正在尝试重构一个巨大的数据框(大约 12.000 个案例):在旧的数据框中,一个人是一行,大约有 250 列(例如,人 1、测试 A1、测试 A2、测试 B,...…

哀由 2024-12-13 13:21:08 3 0

加权平均值极大

我使用 64 位 matlab 和 32g RAM(只是让你知道)。 我有一个包含 130 万个数字(整数)的文件(向量)。我想制作另一个相同长度的向量,其中每个点是…

妳是的陽光 2024-12-12 06:25:53 3 0

PHP 中的大型 mysql 查询

我有一个大约 1400 万行的大表。每行都包含一个文本块。我还有另一个大约有 6000 行的表,每行都有一个单词,每个单词有六个数值。我需要从第一个表中…

千鲤 2024-12-10 14:17:38 1 0

R 和 Hadoop 有关系吗?

R 和 Hadoop 有关系吗?据我了解,两者都用于大规模数据分析和计算。我还注意到 Google 和 Facebook 使用 R,Mapreduce 框架来自 Google,他们使用它…

演出会有结束 2024-12-09 15:57:49 3 0

R 中 ddply 拆分大量类别的问题

我最近问了一个关于计算元素重复次数的问题(http://stackoverflow.com/questions/7669553/how-to-assign-number-of-repeats-to-dataframe-based-on-e…

白衬杉格子梦 2024-12-09 12:04:55 1 0

将行附加到文件

我是 R 的新手。我正在尝试使用 R 中的现有数据向文件中添加(追加)新行。问题是我的数据大约有 30000 行和 13000 列。我已经尝试使用 writeLines 函…

泪意 2024-12-09 05:21:46 1 0

检查 10 亿个手机号码是否重复

这是一道面试题: 有10亿个手机号码,有11位数字,它们随机存储在一个文件中,用于 例如12345678910,第一个数字必须是1。检查这些数字,看看是否有 …

不再让梦枯萎 2024-12-08 15:43:34 1 0

用于大规模分析的 Python 策略(即时或延迟)

要分析大量网站或金融数据并提取参数数据,最佳策略是什么? 我将以下策略分类为“即时”或“延迟”。哪个最好? 即时:即时处理数据并将参数数据存储…

旧时光的容颜 2024-12-07 11:54:50 1 0

使用 C# 对巨大的二进制文件进行排序

我有一个大约 400 GB 的大文件。由外部封闭系统每天生成。它是一个二进制文件,格式如下: byte[8]byte[4]byte[n] 其中 n 等于 byte[4] 的 int32 值。…

叹沉浮 2024-12-07 11:00:48 3 0
更多

推荐作者

qq_2gSKZM

文章 0 评论 0

∞梦里开花

文章 0 评论 0

qq_IklFPL

文章 0 评论 0

迷途知返

文章 0 评论 0

深海不蓝

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文