distributed-system

distributed-system

文章 0 浏览 7

无法将随后的交易推向Kafka生产商

我试图将事件分批发送到Kafka(例如,批量中的10个事件)来维持交易保证。但是我只能成功将第一批活动发送给Kafka。所有随后的批次失败,原因是 kafka…

方圜几里 2025-02-12 06:35:48 1 0

一个Instagram支持的最大照片数量是多少

问题只是主题。 我正在考虑创建一个应用程序,将所有图像从我的手机推到Instagram帐户,这将使图片保持私人状态。 因此,从本质上讲,它将替换Google…

计㈡愣 2025-02-10 21:50:58 2 0

如何在分布式系统中分析日志?

当分布式系统(如筏节点)中发生意外行为时,请求的逻辑趋势或数据流的逻辑趋势通常只能通过日志分析。但是,由于分布式系统,这很困难。我发现有一些…

九局 2025-02-06 15:58:42 0 0

Tinyurl和种族条件

我正在阅读有关Tinyurl的系统设计,它涉及为缩短URL生成独特的哈希ID。它建议生成密钥的两种方法: 按需:使用哈希函数,该函数需要输入URL生成钥匙 …

‘画卷フ 2025-02-01 09:51:39 0 0

在Flink中设置操作员适当并行的直觉

我的问题是要了解在固定集群设置中flink工作中运营商的并行性的好选择。假设,我们有一个包含 MAP 和的FLINK作业DAG 在它们之间使用管道的边缘键入运…

雨巷深深 2025-01-31 11:48:59 5 0

用TTL分布式锁

当我们使用TTL的分布式锁定时,锁可能会因为TTL配置而到期,并且该锁定尚未完成计算的过程,并且它将继续操纵其获取的对象,因为它不知道该锁定的对象…

浊酒尽余欢 2025-01-28 03:36:02 1 0

分布式锁 - 使用围栏令牌来防止并发写入网络文件

我正在阅读设计数据密集应用程序书籍。在第8章中,它讨论了使用围栏令牌以防止并发写入网络文件。 该机制指出,A锁服务可以给出围栏令牌,存储节点对…

2025-01-25 11:12:17 2 0

在Scylladb中查询100亿行(具有高基数)的效率

假设我有一张桌子,上面有10亿行分布在100台机器上。该表具有以下结构: PK1 PK2 PK3 V1 V2 其中 pk 代表分区密钥, v 代表一个值。因此,在上面的示…

蒗幽 2025-01-25 05:36:31 5 0

解析和进程1M+行

我们正在编写一项可以解析包含1M+行的CSV文件的服务。每行都需要数据库记录的插入(或更新)数据。我们目前正在使用DynamoDB。 哪些AWS服务最适合此?…

眼睛会笑 2025-01-24 17:27:51 3 0

flink中的子任务数量与资源使用情况之间的关系

我有以下在flink上的工作流程,在3台机器的集群上运行,每个机器上都有4个内核。 HDFS-Scan -> Filter -> Aggregate 我最初将这些运算符的并行性设置…

眉目亦如画i 2025-01-22 19:12:25 2 0

顺序一致性是否意味着缓存连贯性?

Cache Cooherence的定义说: 阅读必须返回最新的写作。 最终必须通过阅读访问每个写入。 顺序一致性看到给定位置的写入给定位置, 所有处理器以相同…

娇纵 2025-01-20 04:22:04 5 0

API配额分布式系统设计

我正在设计一个 API,根据订阅计划只能点击指定的次数。以下是每个帐户的计划: 10M hits per year - $100 100M hits per year - $300 1G hits per ye…

蛮可爱 2025-01-16 05:02:10 6 0

Zookeeper(Curator框架):明确放弃leaderLatch

背景 我有一个 Web 套接字使用者在我的一台后端服务器上运行。为了保持该系统的高可用性,我想在设置中再保留 2 台备用计算机。期望是->在以下任一场…

挽容 2025-01-14 00:33:25 4 0

解决通用系统设计问题有哪些好方法?

最近,我正在复习系统设计问题,以测试我的知识,只要 这个问题结构良好,与我的日常工作相同,我们首先编写完整的规范,然后开始设计。 因此,我在互…

最单纯的乌龟 2025-01-12 18:40:02 6 0

分布式哈希表中的nodeId和key之间有什么关系?

我对分布式哈希表的理解是,每个节点都可以通过nodeId唯一标识,并且可以存储信息,例如主机、端口和值。每个节点将其他节点 ID 存储在(一个或多个)…

罪歌 2025-01-12 06:09:41 4 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文