bigdata

bigdata

文章 0 浏览 5

在生产 MVC/SQL 应用程序中记录大量操作

我们是 ASP.NET MVC 框架和 SQL Server 的满意用户,目前正在使用 LINQ-to-SQL。它通过面向消费者的应用程序很好地满足了我们的需求,该应用程序拥有…

尾戒 2024-12-23 20:38:01 3 0

海量数据如何产生?

我正在使用 nutch 和 hadoop 进行一些测试,我需要大量数据。 我想从 20GB 开始,逐渐增加到 100GB、500GB,最终达到 1-2TB。 问题是我没有这么多数据…

前事休说 2024-12-23 11:04:51 5 0

stackoverflow 建议如何运作?

这些算法背后的理论是什么,例如,在您编写算法时,在 stackoverflow 网站上针对类似问题生成建议?你能推荐一些关于这个主题的书吗?…

等风也等你 2024-12-23 03:55:30 7 0

具有大量读写的海量数据的最佳数据存储

我需要在数据库中存储大约 1 亿条记录。每天大约会删除其中 60-70% 的记录,并且每天会插入相同数量的记录。我觉得像 Hbase、Big Table 这样的文档数…

绅士风度i 2024-12-23 00:01:59 7 0

将文件内容发送到管道并一步计算 # 行的 Pythonic 方式

给定 > 4gb 文件 myfile.gz,我需要将其 zcat 到管道中以供 Teradata 的快速加载使用。我还需要计算文件中的行数。理想情况下,我只想对文件进行一次…

伪心 2024-12-21 04:34:03 6 0

看来我已经用完了 32 位地址空间。我有什么选择?

我正在尝试使用 numpy.cov 获取大矩阵的协方差。我收到以下错误: Python(22498,0xa02e3720) malloc: *** mmap(size=1340379136) failed (error code=…

罪#恶を代价 2024-12-18 06:01:43 3 0

用于存储 TB 级时间戳数据的平台

我们有一个系统可以创建大量数据,多达 150 万条带时间戳的记录,每秒约 24MB,或每天约 2TB。 数据来自多个来源并具有多种格式,共同点是时间戳。 目…

上课铃就是安魂曲 2024-12-12 19:47:56 4 0

包装 R 的绘图函数(或 ggplot2)以防止绘制大型数据集

我不想问如何绘制大数据集,而是想包装 plot ,以便生成大量绘图的代码在绘制大型对象时不会受到影响。如何以一种非常简单的方式包装 plot ,以便保留…

捎一片雪花 2024-12-10 12:32:30 4 0

SQL:连接与非规范化(大量数据)

我知道,这个问题的变体以前曾被问过。但我的情况可能有点不同:-) 所以,我正在建立一个跟踪事件的网站。每个事件都有 id 和值。它也是由用户执行的,…

酷遇一生 2024-12-09 04:01:38 5 0

在java中处理大字符串列表

我有一项任务,必须遍历数十亿行字符串并检查每行是否都是唯一的。所有线路本身都无法容纳在 PC 的 RAM 内存中。此外,行数可能大于 Integer.MAX_VALU…

↘人皮目录ツ 2024-12-07 21:14:03 7 0

大数据转化为“交易”来自 arules 包

R 中的 arules 包使用“事务”类。因此,为了使用函数 apriori(),我需要转换现有数据。我有一个 2 列和大约 1.6 毫米行的矩阵,并尝试像这样转换数据…

夜司空 2024-12-02 04:03:54 6 0

对大文本数据进行排序

我有一个大文件(1 亿行制表符分隔值 - 大小约为 1.5GB)。根据某个字段对其进行排序的最快的已知方法是什么? 我已经尝试过蜂巢。我想看看是否可以使…

澜川若宁 2024-11-29 13:54:23 5 0

使用 R 绘制大量数字,但并未显示所有数字

我正在尝试使用 R 在图表上渲染 739455 个数据点,但在 x 轴上我无法查看所有这些数字,有什么办法可以做到这一点? 我是 R 新手。 谢谢…

请爱~陌生人 2024-11-29 05:09:32 5 0

高级 Java 优化

关于如何使用 for、while 和 do-while 循环进行低级 Java 优化,以及是否有必要,存在许多问题、答案和意见。 我的问题更多的是基于高级的设计优化。…

迟到的我 2024-11-29 03:54:29 8 0

从Mysql切换到MongoDB 2亿行

我们正在尝试从 mysql 迁移到 mongodb。 mysql的结构是 id_src 整数 id_dest 整数 唯一键:id_src,id_dest 它们在 mysql 数据中大约有 2 亿行,例如…

浮生未歇 2024-11-26 19:19:32 5 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文