hadoop-yarn

hadoop-yarn

文章 0 浏览 5

“ eNoent:否此类文件或目录”在执行WordCount程序时在Hadoop中

在Linux Shell中使用命令“ hadoop jar share/hadoop share/hadoop/hadoop-mapreduce-examples-3.1.3.jar wordcount/input/outption”在linux shell中…

烟织青萝梦 2025-01-26 21:01:23 7 0

将客户端节点与Hadoop群集一起运行客户端作业

我创建了一个HDFS群集,还设置了一个客户端节点。 当作业提交给资源管理器时,它将创建一个应用程序主,该应用程序将在可用资源上创建一个容器以运行…

那伤。 2025-01-26 00:31:00 3 0

列出使用最高资源的Hadoop纱线作业

我想知道如何列出使用最高内存和CPU的作业,是否有任何命令列出最高内存使用的作业?就像我想知道特定作业正在使用多少个vcors和内存。…

风吹雨成花 2025-01-25 13:04:54 7 0

将Hadoop纱与Mesos集成

我创建了一个HDFS群集。我必须配置纱线,以便允许YARN应用程序Master能够按需在Mesos群集上创建用于工作处理的容器。 如何将HDFS群集与Mesos Infra集…

二货你真萌 2025-01-25 09:17:13 3 0

Spark Job因超时而失败

我正在使用Spark-V2.4.5与Java1.8一起使用Spark Job。 它失败了,以下错误 应用程序应用程序_1650878536374_11143以前失败了1次 3600000毫秒(全局限…

鸢与 2025-01-25 05:23:48 2 0

问题布朗尼设置,不确定Ganache是​​否正确安装了-Chainlink Hackathon

我是这个空间的新手,并且有一个问题让布朗尼运行我的第一个部署脚本。我正在通过Chainlink Hackathon学习,并遵循Patrick Collins的Brownie教程。我…

孤者何惧 2025-01-24 18:53:13 4 0

关于动态资源池配置

Cloudera Enterprise中存在纱线队列的“动态资源池配置”。 HDP 3.1.0中还存在“动态资源池配置”选项?有什么办法可以启用它。 提前致谢。…

陌路终见情 2025-01-23 21:58:55 1 0

HDFS中的数据码与纱线的Node Manager之间的连接/关系是什么?

我正在阅读有关纱线和Hadoop文件系统的基础知识。一些博客在线告诉我,纱线只是资源管理系统,HDFS与存储有关。但是我在《 hadoop deveritive指南》一…

滴情不沾 2025-01-19 13:34:07 1 0

Spark Master vs纱线资源经理

YARN如何为Spark应用程序分配资源以及Spark以独立模式运行时如何完成?…

巴黎盛开的樱花 2025-01-19 04:43:42 2 0

如何向yarn提交自定义jar?

我正在学习yarn。我尝试向yarn提交自定义jar文件,它运行良好,但我还没有在yarn web ui上找到工作。 它是如何工作的?…

梦巷 2025-01-17 16:51:23 1 0

flink在mac独立版上运行错误org.apache.flink.configuration.IllegalConfigurationException

我是 flink 的新手,并且已在带有 M1 Pro 芯片的 MacBook 上安装了 yarn 和 flink。 当我尝试使用 bin/flink run -m yarn-cluster Examples/streaming…

世界和平 2025-01-17 06:59:40 2 0

如果未分配所有资源,Spark 会失败

如果我们无法分配所有资源,spark 或yarn 是否有任何标志导致快速作业失败? 例如,如果我 spark-submit --class org.apache.spark.examples.SparkPi …

何以畏孤独 2025-01-16 21:02:25 1 0

Spark-submit 在退出程序之前不等待状态 FINISHED

我正在通过 Spark-Submit 向我们的纱线服务提交 Spark 作业。根据我的理解,spark-submit 应该继续运行,直到状态状态为 FINISHED,然后再继续。然而…

蝶舞 2025-01-16 03:14:57 4 0

apache Hadoop 使用哪种类型的容器技术?

有谁知道apache Hadoop中使用了哪些容器技术(Docker,LXC,....),特别是(HDFS)和(Mapreduce)? 我知道它使用了容器技术,但我找不到具体是哪一…

孤云独去闲 2025-01-15 05:12:55 2 0

Spark 任务读取超过 128MB 的块大小?这怎么可能?

我加载了 9.4 GB 的文件,因此它创建了 74 个分区,这是正确的 (74 * 128MB = 9472)。但我发现很少有任务读取超过 128MB 的数据,例如 160MB 等,如下…

追我者格杀勿论 2025-01-14 21:20:55 4 0
更多

推荐作者

alipaysp_snBf0MSZIv

文章 0 评论 0

梦断已成空

文章 0 评论 0

瞎闹

文章 0 评论 0

寄意

文章 0 评论 0

似梦非梦

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文