错误：无法设置 secondarynamenode 进程的优先级 84665
我最近使用自制程序在带有 m1 芯片的 macbook pro 上安装了 Hadoop。设置一些必要的配置后，当我尝试 start-dfs.sh 时，我收到了此日志： ╰─ start-…
Spark 任务读取超过 128MB 的块大小？这怎么可能？
我加载了 9.4 GB 的文件，因此它创建了 74 个分区，这是正确的 (74 * 128MB = 9472)。但我发现很少有任务读取超过 128MB 的数据，例如 160MB 等，如下…
Pyspark 在 S3 中重命名和移动文件
我必须重命名 AWS Glue 作业的输出并将其移动到 S3 中的另一个文件夹。我遵循了这篇帖子的回复之一。 对于下面的行，我尝试在 folder_name 之后放入一…
我们可以在 Impala Cloudera 中使用枢纽关键字吗？
此代码给出错误 -- HADOOP IMPALA VISION 1 SELECT * FROM ( SELECT K.XID, K.KAMPUS, K.CIHAZTIPI, K.CIHAZMODELI, K.SISTEM, K.CIHAZMARKASI, K.SAH…
以 CURRENT_TIMESTAMP 作为列默认值的 HQL 表
我正在尝试在 Hadoop 中创建一个表，但使用 current_timestamp() 作为列的默认值： CREATE TABLE table_test( CODE_FIRST VARCHAR(3), TYPE_TEST_1 VA…
Apache Flink StreamingFileSink 在写入 S3 时发出多个 HEAD 请求，这会导致速率限制
我有一个 Apache Flink 应用程序，已部署在 Kinesis Data Analytics 上。 该应用程序从 Kafka 读取数据并将其写入 S3。它写入的 S3 存储桶结构是使用 …
从 S3 到 HDFS 的 Distcp
我正在尝试使用 distcp 工具将数据从 S3 复制到 HDFS。问题是，S3 集群使用 VPC 端点，我不知道如何正确配置 distcp。我已经尝试了几种配置，但没有一…
需要安装哪种模式的hadoop和HDFS？
我是 hadoop 和 HDFS 的初学者，现在我需要连接 3 台不同的具有文件的 PC，NIFI 和 Hadop+HDFS。 机器 1：将有一个 .csv 文件 机器 2（个人笔记本电脑…
将数据从 Hive 导出到 AWS Redshift
我正在尝试使用 hive -e 导出 1TB 的 hive 数据，因为我们没有访问 hdfs 文件系统并将数据加载到 Redshift 的选项。数据已导出为多个小文件，例如 300…
NameNode 和 Datanode 未在 Hadoop 中的 start-dfs.cmd 上启动
所以我尝试使用此作为参考来设置Hadoop： Towardsdatascience.com 点击此处 现在出现错误： E:\RIYA\hadoop-env\hadoop-3.2.1\sbin>start-dfs.cmd 弹…
通过 SSIS 包将 Hadoop 转为 SQL：数据格式不正确
我使用连接到 Hadoop 系统的 ODBC 源，并读取数据类型 Text_Stream DT_Text] 值为 4400023488 的列 PONum。使用数据转换将数据转换为字符串 [DT_WSTR]…
错误的 FS s3://ss-pprd-v2-dart //tempdir/962c6007-77c0-4294-b021-b9498e3d66ab/manifest.json -预期 s3a://ss-pprd-v2-dart
我正在使用 Spark 3.2.1、Java8 ->1.8.0_292 (AdoptOpenJDK)、Scala 2.12.10 并尝试使用下面提到的 jar 和包从/向 redshift 读取和写入数据。但我无法…
解决“小数据”问题分布式计算集群有问题吗？
我正在学习 Hadoop + MapReduce 和大数据，根据我的理解，Hadoop 生态系统主要是为了分析分布在许多服务器上的大量数据而设计的。我的问题有点不同。 …
Hive-metastore 找不到 Hadoop Datanode
我有一个 Hadoop 集群，其中有一个名称节点和一个使用 docker compose 实例化的数据节点。另外，我正在尝试启动 Hive，但 Hive-metastore 似乎找不到…
