large-data-volumes

large-data-volumes

文章 0 浏览 7

如何限制 DataStage

我从事的一个项目中,我们运行多个可以并行运行的 DataStage 序列,其中一个序列性能较差,占用大量资源,影响共享环境。性能调整计划正在进行中,但…

七秒鱼° 2024-10-18 06:48:08 10 0

将 mysql 表转储到 CSV(stdout),然后将输出通过隧道传输到另一台服务器

我正在尝试将数据库表移动到另一台服务器;复杂的是当前运行该表的机器几乎没有剩余空间;所以我正在寻找一个可以通过网络工作的解决方案。 我尝试过…

拧巴小姐 2024-10-17 19:10:23 9 0

将数据集加载到 SQL 脚本(在 powershell 中)

我想从一台服务器上的 SQL Server 数据库中提取大型数据集,然后将该数据集包含在另一台服务器上的另一个数据库中。由于链接服务器不是一个选项,我尝…

岁月染过的梦 2024-10-17 08:09:08 9 0

Adwords API BulkMutateJobService 获取多个关键字的全球每月搜索量

我刚刚开始为即将进行的项目使用 Adwords API,实际上我需要一些非常简单的东西,但我想以最有效的方式实现它。 我需要代码来检索多个关键字的全球每…

椵侞 2024-10-16 04:59:10 12 0

大型 App Engine 网站的站点地图结构

我正在考虑构建大型 App Engine 网站(+1M 网址)的最佳方法。 我需要在域文件的根路径中有一个 sitemaps.xml 文件来链接到 sitemap[n].xml 文件。 si…

独木成林 2024-10-15 08:41:14 12 0

Mongo Mapper中高效检索大数据集?

我正在存储大量 Twitter 数据,并且希望一次检索大约 500k 条记录进行数据处理。我有一个 TwitterTweet mongo 文档,其中包含基本推文数据,并尝试按…

剩一世无双 2024-10-15 03:27:31 9 0

如何存储和查询非常大的数据集(超出关系数据库)

我们目前面临的问题是如何有效地存储和检索非常大的数据集(数十亿)中的数据。我们一直在使用 mysql,并优化了系统、操作系统、raid、查询、索引等,…

最初的梦 2024-10-13 16:55:45 12 0

通过套接字发送 5MB 数据?

您好,我想使用 Java 编程语言通过 TCP 从服务器向 Android 客户端发送固定数量的数据(例如 5MB)。数据并不重要,它会被丢弃在客户端,我这样做只是…

ヤ经典坏疍 2024-10-11 22:06:21 7 0

将大型或复杂对象从 WCF 服务器发送到客户端

我的应用程序是近实时数据缓冲应用程序。 我正在使用网络。用于发送复杂对象的 TCP 绑定。 通过不同的回调函数向客户端缓冲数据。 只要我启用某些事件…

舞袖。长 2024-10-08 00:50:55 12 0

在 R 中绘制非常大的数据集

如何在 R 中绘制非常大的数据集? 我想使用箱线图、小提琴图或类似的图。内存中无法容纳所有数据。我可以逐步读入并计算制作这些图所需的摘要吗?如果…

回首观望 2024-10-05 22:46:06 12 0

NTFS 目录有 100K 条目。如果分布在 100 个子目录中,性能会有多少提升?

背景 我们有一个自行开发的文件系统支持的缓存库。目前,由于条目数量较多(例如多达 100,000 个),我们在一次安装中遇到了性能问题。问题:我们将所…

彩扇题诗 2024-10-05 16:24:28 13 0

想法:如何使用基于 GPU 的直接体积渲染以交互方式渲染大型图像系列

我正在寻找如何将 30+gb、2000+ 彩色 TIFF 图像系列转换为能够使用基于 GPU 的体积渲染(使用 OpenCL / OpenGL / GLSL)实时可视化(交互式帧速率)的…

岁月如刀 2024-10-03 14:40:25 14 0

大网站显示的数据较少

我负责管理一个大型网站,并一直在研究其他类似的网站。我特别看了一下 flickr 和 deviantart。我注意到,虽然他们说他们有大量数据,但他们只显示了…

云朵有点甜 2024-10-01 08:08:00 11 0

从 SQL Server 中非常大的表 (600M) 获取子集 (200M) 的最快方法

我们面临以下问题,我们正在努力想出最好的解决方案。 我们使用的是 SQL Server 2008。我们有一个包含超过 6 亿条记录、大约 25 列的表。其中一列是 I…

遗心遗梦遗幸福 2024-09-28 06:53:09 7 0

ORM 的使用可能涉及数十亿条记录

前几天我在想这个问题,像 Twitter 这样的应用程序要处理数百万用户。我在想“跟随”的功能如何工作,数据库中的最大用户数可以跟随数据库中的最大用…

少女净妖师 2024-09-26 18:04:54 10 0
更多

推荐作者

牛↙奶布丁

文章 0 评论 0

COSO

文章 0 评论 0

落叶

文章 0 评论 0

暗地喜欢

文章 0 评论 0

qq_i8qOEG

文章 0 评论 0

qq_Wl4Sbi

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文