data-processing

data-processing

文章 0 浏览 3

处理非常大(超过 30GB)文本文件并显示进度的最佳方法是什么

[新手问题] 嗨, 我正在处理一个超过 30GB 的巨大文本文件。 我必须对每一行进行一些处理,然后以 JSON 格式将其写入数据库。当我读取文件并使用“for…

樱桃奶球 2024-11-09 20:05:15 0 0

在 shell 中将对列表转换为表,而不使用 awk

我有一个制表符分隔的对列表,如下所示: apple yellow orange green apple red pear blue apple yellow apple yellow 我想使用 Linux 命令行工具将其…

难得心□动 2024-10-17 14:36:47 4 0

如何使用 perl 提取一行中多次出现的方括号之间的数据?

我有一行包含方括号数据的多个实例。 [data 1] junk [data 2] junk,junk [data 3] junk [data 4] 有人有一个好的正则表达式吗?所以我可以使用 print …

孤千羽 2024-10-12 05:15:17 4 0

用于在程序迭代之间保存数据的临时存储?

Closed. This question is opinion-based. It is not currently accepting answers. 想要改进这个问题?更新问题,以便可以通过编辑这篇文章用事实和…

梦中楼上月下 2024-10-07 04:19:00 3 0

我应该如何过滤这些数据?

我有几个系列的数据点需要绘制图表。对于每个图表,一些点可能由于错误而需要被丢弃。示例如下: 圈出的区域是数据中的错误。 我需要的是一种过滤这些…

反目相谮 2024-09-24 13:15:10 8 0

如何读取存储在目录中的不同文件并将其中的一些数据存储到一个文件

这是我之前提出的问题的后续,在一些人的帮助下,我能够开始编写我想要编写的函数,但我尚未完成它。 这是我之前的问题: 我有一系列扩展名为(.msr)…

云朵有点甜 2024-09-12 07:51:48 3 0

如何从c中的文件中读取特定数据列

大家好, 我是 C 编程的初学者。我遇到了这个问题,并且在上面花费了大量时间,但没有取得任何重大进展。 我的问题是这样表述的: 我有一系列扩展名为…

孤者何惧 2024-09-11 22:54:06 7 0

处理 JSP 的 XML 数据

我有一个表单/计算器,它向自身发送一些数据,然后通过调度 servlet 来计算该数据,并将结果作为 xml 输出。调度程序代码如下所示: //create instanc…

绾颜 2024-09-08 12:05:39 6 0

数据聚类方法

我正在用 C# 编写一个程序,其中在图像上显示一组 200 个点。然而,这些点往往会聚集在不同的区域,我正在寻找一种“聚集”的方法。换句话说,可以在…

治碍 2024-09-05 08:48:56 7 0

处理 R 中丢失/不完整的数据——是否有屏蔽但不删除 NA 的功能?

正如您对旨在数据分析的 DSL 所期望的那样,R 可以很好地处理丢失/不完整的数据,例如: 许多 R 函数都有一个 na.rm 标志,当设置该标志时为TRUE,删…

水波映月 2024-08-28 12:58:01 14 0

C# 中的密集文件 I/O 和数据处理

我正在编写一个需要处理大型文本文件的应用程序(用逗号分隔几种不同类型的记录 - 我没有能力或倾向更改数据存储格式)。它读入记录(通常是按顺序读…

坦然微笑 2024-08-18 18:04:55 10 0

在处理时写入数据块 - 由于硬件限制是否存在收敛值?

我正在处理来自硬盘的一个大文件的数据(处理速度很快且开销不大),然后必须将结果写回(数十万个文件)。 我开始立即将结果写入文件,一次一个,这…

心如荒岛 2024-08-17 02:10:04 6 0

CPU 密集型应用程序与 IO 密集型应用程序

对于使用大量数据的“数字运算”风格应用程序(读作:“数百 MB,但不是 GB”,即,它将很好地适合操作系统旁边的内存),将所有数据读入内存是否有意…

等数载,海棠开 2024-08-09 02:18:52 6 0

在文件中转置数据网格的最佳方法

我在二维网格上有大量值的数据文件。 它们的组织方式使得网格中的后续数据行是文件中的后续行。 每列由制表符分隔。 本质上,这是一个 CSV 文件,但带…

故笙诉离歌 2024-08-08 06:45:13 5 0

对于基于流程的文件编程有哪些好的 Perl 模块?

有哪些好的 Perl 模块可以根据配置处理文件? 基本上我正在努力获取数据文件,将它们分成列,根据某些列删除一些行,删除不必要的列,将它们与基线进…

无所的.畏惧 2024-07-29 11:44:59 7 0
更多

推荐作者

linfzu01

文章 0 评论 0

可遇━不可求

文章 0 评论 0

枕梦

文章 0 评论 0

qq_3LFa8Q

文章 0 评论 0

JP

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文