Elasticsearch快速并发插入数据会丢数据？
Python爬虫，大概3-5个线程并发运行，使用 elasticsearch-py 库的 bulk(**kwargs) 函数向阿里云的 Elasticsearch 插入数据，每秒大概几十条数据，分…
几千万个文本（1TB左右）需要根据规则计算做结构化，用什么大数据架构比较合适？
目前有几千万个文本（1TB左右）的数据存储在sqlserver中。需求是需要根据业务上的规则（位置，前后关键字，语法匹配等方式）对文本进行分析计算，将…
pyspark写入数据到oracle报错 session_per_user limit错误
最近在用spark做一些数据处理,在通过jdbc写入结果到Oracle时会报上述错误,意为连接数过多.根据当时Oracle设置的空闲连接数来判断,估计实际的连接会有…
flume监听网络端口，使用telnet传入数据测试时发现特定汉字传入会被强制关闭连接
环境：hadoop2.8.5、flume1.9、Ubuntu18.04 问题：使用flume监听网络端口，传入数据测试时发现特定汉字传入会被强制关闭连接，如图 更换过flume1.6发…
SparkStream checkpoint 的几个问题
刚用spark streaming，有几个关于checkpoint的疑问： checkpoint有两种，一种是对driver的meta的，一种是对data的。手册上说，只有用stateful transf…
mysql 1.5倍数据量导致20多倍的执行时间？
以下代码，实现对数据进行标记，在某carPlate出现后（第一次设置为2），1小时内再出现标记为无效（设置为1），超过1小时的第一个再设置为2，以此类推…
elasticsearch启动时，出现Permission denied，权限不足的情况，应如何解决？
如图所示，安装es的时候出现了如下问题，我把文件夹都设置成了777的权限，也给了es用户权限，为什么在执行的时候仍然报权限不足？网上查阅到的，都是…
phoenix+kerberos 连接失败
使用jdbc:phoenix:testdmp3.fengdai.org,testdmp4.fengdai.org,testdmp5.fengdai.org:2181:/hbase-secure:dcp@EXPER.ORG:" + classPath + "dcp.keyta…
pycharts饼图 如何实现 添加各个部分的标签信息
from pyecharts import Pie attr = ['2d', '3d']v1 = [12, 5]pie = Pie("中国2017电影视觉类型比例",title_pos='left',title_text_size=15,width=100…
CDH6在安装agent时，提示安装失败 无法接收 Agent 发出的检测信号
问题描述 我在三台虚拟机上安装CDH6，进行到在web界面安装agent这一步，在“等待新安装的 Agent 检测信号...”这一步等待了1分钟左右，提示如下错误…
