large-data

large-data

文章 0 浏览 5

R 中的无限函数/循环:数据管理

我正在尝试重构一个巨大的数据框(大约 12.000 个案例):在旧的数据框中,一个人是一行,大约有 250 列(例如,人 1、测试 A1、测试 A2、测试 B,...…

哀由 2024-12-13 13:21:08 8 0

加权平均值极大

我使用 64 位 matlab 和 32g RAM(只是让你知道)。 我有一个包含 130 万个数字(整数)的文件(向量)。我想制作另一个相同长度的向量,其中每个点是…

妳是的陽光 2024-12-12 06:25:53 8 0

PHP 中的大型 mysql 查询

我有一个大约 1400 万行的大表。每行都包含一个文本块。我还有另一个大约有 6000 行的表,每行都有一个单词,每个单词有六个数值。我需要从第一个表中…

千鲤 2024-12-10 14:17:38 5 0

R 和 Hadoop 有关系吗?

R 和 Hadoop 有关系吗?据我了解,两者都用于大规模数据分析和计算。我还注意到 Google 和 Facebook 使用 R,Mapreduce 框架来自 Google,他们使用它…

演出会有结束 2024-12-09 15:57:49 7 0

R 中 ddply 拆分大量类别的问题

我最近问了一个关于计算元素重复次数的问题(http://stackoverflow.com/questions/7669553/how-to-assign-number-of-repeats-to-dataframe-based-on-e…

白衬杉格子梦 2024-12-09 12:04:55 4 0

将行附加到文件

我是 R 的新手。我正在尝试使用 R 中的现有数据向文件中添加(追加)新行。问题是我的数据大约有 30000 行和 13000 列。我已经尝试使用 writeLines 函…

泪意 2024-12-09 05:21:46 4 0

检查 10 亿个手机号码是否重复

这是一道面试题: 有10亿个手机号码,有11位数字,它们随机存储在一个文件中,用于 例如12345678910,第一个数字必须是1。检查这些数字,看看是否有 …

不再让梦枯萎 2024-12-08 15:43:34 6 0

用于大规模分析的 Python 策略(即时或延迟)

要分析大量网站或金融数据并提取参数数据,最佳策略是什么? 我将以下策略分类为“即时”或“延迟”。哪个最好? 即时:即时处理数据并将参数数据存储…

旧时光的容颜 2024-12-07 11:54:50 5 0

使用 C# 对巨大的二进制文件进行排序

我有一个大约 400 GB 的大文件。由外部封闭系统每天生成。它是一个二进制文件,格式如下: byte[8]byte[4]byte[n] 其中 n 等于 byte[4] 的 int32 值。…

叹沉浮 2024-12-07 11:00:48 6 0

无论设置正确与否,PHP 连接都会在大文件上传时重置

我遇到了一个非常常见的问题,似乎找到的所有可用解决方案都不起作用。 我们有一个接收大量流量的 LAMP 服务器。使用此服务器,我们执行定期文件提交…

冷了相思 2024-12-07 09:46:55 4 0

对于大型表连接和更新,我应该更改哪些 MySQL my.ini 参数?

我有以下内容: TableA - 20M 行 TableB - 500K 行 许多查询,特别是以下查询,需要很长时间。 UPDATE TableA AS A INNER JOIN TableB AS B ON B.Valu…

土豪我们做朋友吧 2024-12-06 22:58:12 7 0

查询中的 MySQL 子位置计数器

我需要获取一个记录集,其中为每 60 条记录填充字段 level1,这意味着我需要以这种方式填充 level1 字段: 在 pos=1 和 pos=60 上,level1 = 1 在 pos…

后来的我们 2024-12-06 18:16:48 4 0

在 MySQL 中存储和访问庞大数据矩阵的最有效方法

我将在 mysqlDB 中存储大量矩阵数据,存储和访问数据最有效的方法是什么? 获取数据时效率最重要,表不会定期更新。 矩阵大约是 100.000 乘以 1000(…

Bonjour°[大白 2024-12-05 10:58:01 5 0

如何通过 LINQ 处理图像数据类型

我尝试在谷歌和这个网站上搜索这个问题,但是很难找到正确的,所以这可能已经在某个地方被问过并得到了回答,但我找不到它。 不管怎样,我继承了一些…

孤寂小茶 2024-12-05 04:19:23 5 0

150M记录按名称排序

我有一个每天生成约 1.5 亿条记录的数据集,其中包含: member_id、member_name、member_name_first_letter 我需要获取按 member_name asc 排序的列表…

笑红尘 2024-12-05 03:59:54 8 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文