apache flink org.apache.hadoop.ipc.rpcexception：RPC响应将字符串写入HDFS时超过最大数据长度
探索如何从Apache Flink中写入HDFS，我尝试了以下操作： val sink: StreamingFileSink[String] = StreamingFileSink .forRowFormat(new Path("hdfs://…
是否可以使用Hadoop API将大型Parquet文件分为小文件？
我们的大小尺寸很大，约为100GB。 是否可以使用Hadoop API将文件分为较小的文件。 我们不使用火花，因此无法使用Spark API拆分。 我尝试使用Hadoop AP…
EMR，Spark：适当的本地共享缓存位置
在我们的Spark应用程序中，我们将本地应用程序缓存存储在/mnt/YARN/APP-CACHE/目录中，该目录在同一EC2实例 /mnt/... 上共享应用程序容器之间共享。选…
我对HDFS Hadoop文件有错误，IDK有什么问题
put时： hfs dfs -put/users/mariajesuscanoles/desktop/test/word.txt/users/mariajesuscanoles 我有此错误，而IDK是如何解决的， 2022-07-03 14:39:…
将多个datanodes添加到Docker-Compose
我第一次与Hadoop接触。 如何在此Docker-Compose文件中添加更多数据台（为了清楚起见） version: "3" services: namenode: image: bde2020/hadoop-nam…
用Java StringTokenizer分裂令牌
我有一个看起来像这样的数据集： drawdate lotterynumbers meganumber multiplier 2005-01-04 03 06 07 12 32 30 NULL 2005-01-07 02 08 14 15 51 38 …
是否可以使用EMR使用自定义Hadoop版本？
截至今天（2022-06-28），AWS EMR最新版本为6.6.0，使用Hadoop 3.2.1。 我需要使用不同的Hadoop版本（3.2.2）。我尝试了以下方法，但它行不通。您可以…
Hadoop3.1.1不支持吗？
当我使用以下CMD构建Alluxio时。 mvn -T 4C clean install -pl underfs/hdfs/ \ -Dmaven.javadoc.skip=true -DskipTests -Dlicense.skip=true \ -Dche…
从本地复制文件到hadoop时0个datanodes
我的操作系统是Windows10。Ubuntu20.04.3 lts（GNU/Linux 4.4.0-19041-Microsoft X86_64）安装在Windows 10上。 当我将本地文件复制到Hadoop时，我会…
Hadoop Hive查询-SQL
我在 hive 中写了一个查询。它不起作用 查询： hive>> select country ,max(total_count) from (select country, count(airlineid) from airport grou…
