ConnectException：连接拒绝（连接拒绝）错误，同时获得新的通信渠道

Question

我遇到了这个错误，我不确定自己出了什么问题！如果有人可以帮助我解决这个问题，这真的很有帮助。谢谢！

创建输出模型目录

dbutils.fs.mkdirs('/CIFAR10/models/')
Out[21]: True


from keras.models import load_model
modelpath = '/dbfs/CIFAR10/models/cifar_2000pictures.h5'
model2000.save(modelpath)​
#model = load_model(modelpath)


ConnectException: Connection refused (Connection refused)
Error while obtaining a new communication channel
ConnectException error: This is often caused by an OOM error that causes the connection to the Python REPL to be closed. Check your query's memory usage.
Spark tip settings

Answer 1

oom（不记忆）问题 ，驱动器崩溃了，无法与驱动程序建立新连接。请尝试以下选项：

1. 通过过滤尽可能多的数据，使用分区列来减少执行者的负载。如果可能的话，它将在很大程度上减少数据的移动。
2. 不正确的配置此处是由于纱线内存开销问题而导致应用程序失败（如果在纱线上运行Spark）。您可以通过设置分区大小来解决它：
   增加 spark.sql.shuffle.partitions 的值。

为什么会发生这种情况？

不管集群有多大。如果您正在通过在单台计算机上运行操作的python pandas来处理较大的数据集，而不是在多台机器上运行。因此，您可以增加驱动程序节点的内存大小。

有关更多信息，请遵循本文：

https://medium.com/disney-com/disney-streaming/a-s-tep-by-step-by-step-guide-for-debugging-memory-memory-memory-memory-leaks-in-spark-spark-spark-applications-in-spark-applications--applications--applications--application e0dd05118958