batch-processing

batch-processing

文章 0 浏览 9

如何使用 BlockingCollection 通知生产者-消费者模式中的失败?

我正在尝试创建一个生命周期过程,用于批量插入数据库批量插入的传入消息。 新消息一次传入 1 条,间隔不规则。 我的解决方案类似于使用 BlockingColl…

汹涌人海 2025-01-15 10:05:11 3 0

如何创建从 .txt 或特定文件夹中的任何文本文档搜索值的程序

我对编程比较陌生,想要创建一个可以解决我经常遇到的问题的程序。 这是我的短篇故事的背景:我在一个托管许多文件的网站上(我们谈论的是大约 500-10…

二智少女猫性小仙女 2025-01-14 12:22:04 3 0

删除图像的水平切片并通过周围区域从上方和下方填充其空白

原始图像和期望的结果 我有一批 PNG 图像,需要相同的自动图像处理: 中间部分(红色)应被完全消除,其空隙从上方/下方填充 顶部(蓝色)和中间部分…

自此以后,行同陌路 2025-01-14 00:21:37 2 0

使用部分批处理响应使 SQS 消息再次可见

假设: AWS Lambda 以 10 个元素批量处理来自 AWS SQS FIFO 队列的消息,具有 25 个可用消息组 ID(以随机方式分配), 单个消息的处理需要约 30-60 …

﹏雨一样淡蓝的深情 2025-01-13 18:34:56 6 0

使用 skimage (Python) 批量处理 Tiff 文件

我正在寻找;在 Python 中打开、处理和保存多个 TIFF。 我有以下代码可以打开、处理和保存 1(一)个 TIFF,但我在处理多个文件时遇到问题: import s…

紫瑟鸿黎 2025-01-13 03:05:05 2 0

批量更新ID,没有重复的电话和帐户

我正在根据要求创建一个批次,其中如果联系人根据帐户和手机有重复项,则名为 Eksternal ID 的字段不应设置该值。 谁能指导我满足这个要求? 预先感谢…

醉酒的小男人 2025-01-12 22:16:38 4 0

如何在多个节点上分配多进程CPU使用率?

我正在尝试使用多处理在 HPC 上运行作业。每个进程的峰值内存使用量约为 44GB。我可以使用的作业类允许使用1-16个节点,每个节点有32个CPU和124GB内存…

冷…雨湿花 2025-01-12 12:57:07 6 0

使用 Azure 数据工厂进行多步增量加载和处理

我想实现增量加载/处理,并在处理它们后使用Azure数据工厂将它们存储在不同的地方,例如: 外部数据源(数据是结构化的)-> ADLS(原始)-> ADLS(已…

仙气飘飘 2025-01-11 16:59:10 4 0

在 slurm 上并行重复一项任务 100 次

我是集群计算的新手,我想在 python 上重复一项实证实验 100 次。对于每个实验,我需要生成一组数据并解决一个优化问题,然后我想获得平均值。为了节…

七色彩虹 2025-01-11 16:05:10 5 0

添加决策程序作为 Spring Batch 作业的第一步(以 JavaConfig 样式)

我们正在将 XML 风格的 Spring Batch 作业迁移到 JavaConfig,并发现似乎不可能在 start() 之后使用 Decisionr() 作为作业流逻辑的第一步。我们需要放…

因为看清所以看轻 2025-01-10 13:09:18 3 0

Powershell 将名称中带有时间戳的文件移动到年/月文件夹中

我有很多半小时文件,其名称格式为 A_B_C_YYYYMMDDThhmm_YYYYMMDDThhnn.csv A、B、C 是单词 其中 YYYY 是 4 位数的年份, MM 2 位月份, DD 2 位数的…

给不了的爱 2025-01-10 12:15:20 2 0

如何在kafka消费者容器中模拟setBatchErrorHandler()错误?

我有一个使用 ConcurrentKafkaListenerContainerFactory 的 kafka 消费者应用程序,我读到 setBatchErrorHandler 用于在批量监听期间出现错误时处理错…

调妓 2025-01-10 04:40:33 5 0

如何使用 AsynCluster 在 Couchbase 中进行批量(使用选择更新)处理,而不在 couchbase SDK 3.x 中使用反应式?

我有一个要求,我想更新 Couchbase 中的 1000 条记录并获取更新记录的 id。我不想使用couchbase SDK 3.x官方文档中提到的Reactive(项目反应器)。 还…

萌化 2025-01-09 17:21:49 6 0

如何使用PowerShell批量删除文件夹

我正在尝试删除我的 OneDrive 文件夹,该文件夹非常大,并且有许多包含许多项目的嵌套文件夹。我有这个脚本,但它无法处理非常大的文件夹,所以只是想…

夏尔 2025-01-09 06:54:37 4 0

我们可以在 Spring Batch Processor 中一起处理整个块吗

我有一个场景,员工暂存表中有数百万条记录,我需要丰富该值并将其存储在员工最终表中。现在我正在使用块大小为 10,000 的块处理。 在我必须进行丰富…

愁杀 2025-01-09 02:20:42 3 0
更多

推荐作者

15077827184

文章 0 评论 0

遗失的美好

文章 0 评论 0

离不开的别离

文章 0 评论 0

3857621955

文章 0 评论 0

懒猫

文章 0 评论 0

洋洋洒洒

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文