大数据

大数据

文章 168 浏览 846

DolphinDB中有类似R语言中的match函数吗?

如果是A序列去match B序列,然后返回index,DolphinDB中有函数可用吗?就如在R语言中用match函数:> match(c(1,2,3),c(1,2,9,3)) [1] 1 2 4…

柒夜笙歌凉 2022-09-12 13:28:39 24 0

hadoop spark 大数据的分布式通信原理 有个疑问?求指教一下

hadoop 和spark 都是有rpc 通信和kafka,分布式要么是rpc 要么是消息队列,为啥 大数据这两种都有呢?为啥要一种不就可以了?难道是为了同步和异步处理…

风苍溪 2022-09-12 13:27:03 38 0

hive查询报错

我在每次添加where条件,或者使用子查询时,都会报这个错误。以下是报错详情java.lang.Exception: java.sql.SQLException: Error while processing st…

倒带 2022-09-12 13:26:52 26 0

大数据分析和数据挖掘分析有啥区别

大数据是从海量数据中分析,数据挖掘也是海量数据分析出结果然后决策,难道两者分析的维度是不一样的?…

深爱成瘾 2022-09-12 13:24:05 20 0

海量数据的处理过程

一般几千万的那种数据 为啥经过大数据处理然后才到算法机器学习处理呢?…

执着的年纪 2022-09-12 13:19:11 30 0

一年数据接近1个亿非结构化数据的场景,用的什么数据库合适?

我们想要全面的记录用户行为,之前买过成熟的统计分析工具(类似百度站长),但想要的很多功能没有,很多不需要的功能倒是挺多的,结果就是成本不低但…

原来是傀儡 2022-09-12 13:04:16 17 0

-del asdfasdfasdf

asdfasdfasdf sdaf asdf sadfasdfasdf…

满天都是小星星 2022-09-12 04:34:28 25 0

问下context by 怎么加到update!里面去

我想实现下面功能:update factors set factor8 = factor8-dot(factors.factor2,factors.factor8)/dot(factors.factor2,factors.factor2)*factor2 fro…

郁金香雨 2022-09-12 04:33:21 22 0

从hdf5文件导入数据时如何把整数转换成时间?

我有一个h5文件,运行下面代码,use hdf5 dataFilePath = "/home/database/v10012/server/comm-ticks-updates1.hdf5" datasetName = "/A2005/20200506…

雪化雨蝶 2022-09-12 04:31:23 24 0

启动yarn失败,明明端口没有被占用,但是仍然无法连接?

如题,用vm虚拟机创建了几个linux主机,hadoop102机器为master,slave机器hadoop103上指定ResourceManager。在hadoop102上启动yarn失败,log中报错:c…

飘然心甜 2022-09-12 04:30:50 18 0

分区类型是hash,怎么得到某个分区的全部数据

DolphindDB分布式表建库建表的代码如下,其中分区字段是nActionDay和szWindCode,分区类型分别是按月值分区和HASH分区:def createDfsDB(dbPath,tbNam…

秋叶绚丽 2022-09-12 04:02:08 27 0

插件函数的性能在计算一组向量时与内置函数几乎一样,但在分布式计算时为什么差了好多倍

我写了一个DolphinDB插件函数getBeta,实现的功能与内置函数beta一样。另外写了一个如下所示的向量化自定义函数:def betaVec(x, y){ sumX = x.sum() s…

江南月 2022-09-12 04:02:00 40 0

有什么措施可提升DolphinDB的写入和查询性能

假如目前部署了DolphinDB database4个计算节点,要让4个节点的性能发挥到最大,有什么措施和建议?…

三生殊途 2022-09-12 03:49:50 21 0

每个测点每隔5秒一条,如何为每100个测点每个测点35万条记录产生一批模拟数据

在DolphinDB database中分布式数据库按时间和测点两个维度进行组合分区,时间维度是按天值分区,测点维度是每100个测点范围分区。现在想插入3500亿条…

梅窗月明清似水 2022-09-12 03:35:02 35 0

关于hashmap与reentranlock的死锁问题 大数据/ambari

项目是类似大数据中ambari的一个项目。问题是在多集群,每个集群很多台机器的时候,启动程序时候主机获取从机配置信息的时候卡住(这里可能是死锁,具…

护你周全 2022-09-12 03:29:03 31 0
更多

推荐作者

醉城メ夜风

文章 0 评论 0

远昼

文章 0 评论 0

平生欢

文章 0 评论 0

微凉

文章 0 评论 0

Honwey

文章 0 评论 0

qq_ikhFfg

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文