分布式

分布式

文章 178 浏览 1.4k

插件函数的性能在计算一组向量时与内置函数几乎一样,但在分布式计算时为什么差了好多倍

我写了一个DolphinDB插件函数getBeta,实现的功能与内置函数beta一样。另外写了一个如下所示的向量化自定义函数:def betaVec(x, y){ sumX = x.sum() s…

江南月 2022-09-12 04:02:00 40 0

zookeeper 只有一个leader节点负责写会不会压力大?

zookeeper 只有leader节点负责写, 会不会压力大? 读的时候怎么读, 是每个follower节点都可以负责读吗? 怎么保证读的数据是最新提交的? 万一某个follo…

孤千羽 2022-09-12 03:45:55 24 0

有关DolphinDB计算资源分配的问题

DolphinDB database的文档中提到支持分布式计算。假如同时提交4个计算任务,内部是以什么样的机制来分配的计算资源?是否会因为资源分配不均导致计算…

阳光下的泡沫是彩色的 2022-09-12 03:24:50 26 0

未来网络和存储会不会去中心化,每个计算机都是共同体!

未来网络和存储会不会去中心化,每个计算机都是共同体!…

轮廓§ 2022-09-12 03:01:02 31 0

什么是分布式任务调度?

我在读书的时候(celery)[https://www.liaoxuefeng.com/a...]: Celery是Python开发的分布式任务调度模块 这里怎么说celery是分布式的?什么是任务调度…

一片旧的回忆 2022-09-12 02:43:50 31 0

对于数据量不同的参与者,每个参与者训练相同网络下,比较其loss有意义吗,或者说,如何比较其loss值?

具体问题情境是这样的网络结构就按照最简单的多层感知机假设好了。 a、b、c有不同的数据量1e2、1e4、1e6,他们各自有相同网络结构的模型(模型完全一…

半世蒼涼 2022-09-12 02:28:19 50 0

二阶段提交和三阶段提交的意义

这两个协议都没有解决一致性问题而且本身还存在很多的问题尤其是二阶段提交,分区可能发生在各个阶段 实在不知道这两个协议的意义是啥? …

清醇 2022-09-12 02:13:36 31 0

Session共享的问题

目前有两个系统,现在需要两个系统合并在一个后台工作,我想的办法就是在系统1的菜单表中配置系统2的ip+菜单链接,问题来了。 如果登录了系统1,未登…

捂风挽笑 2022-09-12 01:59:58 24 0

zk大半数节点ack后就commit的疑问

因为zookeeper的leader在得到大半数节点的ack后就会通知节点commit,然后返回给客户端。如果此时少半数的节点还没有commit并且客户端在接到集群的comm…

你的他你的她 2022-09-12 01:56:53 27 0

zookeeper选举的zxid的疑问

zk的每一个事务都会有一个唯一的事务id,这个id是一个64位的整数。前32位是逻辑时钟号,后32位是某个逻辑时钟下的单调递增的id,我的疑问是如果在一个…

像你 2022-09-12 01:56:26 27 0

分布式、微服务负载均衡相关的一些疑问?

服务注册发现是 服务消费者请求服务提供者,以consul为例:consul消费者+openfeign 请求 提供者,能实现负载均衡;consul消费者+gateway 请求 提供者…

绮烟 2022-09-12 01:54:41 28 0

shardingjdbc 4.0.0-RC2版本雪花算法存在主键冲突

采用SpringBoot+MybatisPlus+Druid连接池+ShardingJDBC(4.0.0-RC2版)进行分库,并发量不大,采用自带雪花算法生成分布式主键,同一台机器上偶尔存在…

冬天旳寂寞 2022-09-12 01:41:55 25 0

主从同步过程中,其中一个从宕机,后来宕机恢复,这个机子的数据是如何与其它机器保持一致的呢?

如题所示,很多集群都有主从同步的要求和对应的功能实现,比如ES,MYSQL,ZK,KAFKA。…

作死小能手 2022-09-12 01:39:33 36 0

MySQL可以分布式么?

1、MySQL可以分布式么?2、如果可以分布式,那为什么还需要TIDB、OceanBase、GaussDB等数据库呢?仅仅是为了国产化么?3、如果不能分布式,GaussDB能…

一曲爱恨情仇 2022-09-12 01:36:22 27 0

raft成员变更,添加节点是C-old U C-new == C-new 吗?

成员变更的那个图,123增加45节点,此时不论什么原因重新选举,会产生脑裂问题。 我的理解C-old=123,C-new = 12345那么显然C-old U C-new = C-new,那…

亚希 2022-09-12 01:05:13 28 0
更多

推荐作者

醉城メ夜风

文章 0 评论 0

远昼

文章 0 评论 0

平生欢

文章 0 评论 0

微凉

文章 0 评论 0

Honwey

文章 0 评论 0

qq_ikhFfg

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文