pyspark-没有这样的文件或目录

Question

我安装了Anaconda。 使用Pyspark时，我有一个错误。 没有这样的文件或目录。什么文件或目录？ 我看到我也有一个错误的任务集合程序。

  22/07/03 13:26:32错误执行器：阶段0.0中的任务0.0中的异常（TID 0）/1]
java.io.ioexception：无法运行程序“/home/anaconda3/bin/python3”：错误= 2，没有此类文件或目录
  在java.lang.lang.processbuilder.start（processBuilder.java:1048）
  在`Enter code there`org.apache.spark.apak.python.pythonworkerfactory.startdaemon（pythonworkerfactory.scala：209）
  at org.apache.spark.api.python.pythonworkerfactory.createthroughdaemon（pythonworkerfactory.scala：132）
  at org.apache.spark.api.python.pythonworkerfactory.create（pythonworkerfactory.scala：105）
  atrg.apache.spark.sparkenv.createpythonworker（Sparkenv.Scala：119）
  请访问org.apache.spark.api.python.basepythonrunner.com pupute（pythonrunner.scala：145）
  请访问org.apache.spark.api.python.pythonrdd.com putute（pythonrdd.scala：65）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.scheduler.resulttask.runtask（resulttask.scala：90）
  atrg.apache.spark.scheduler.task.run（task.scala：131）
  atorg.apache.spark.executor.executor $ taskrunner。
  在org.apache.spark.util.utils $。
  请访问org.apache.spark.executor.executor $ taskrunner.run（executor.scala：500）
  at Java.util.concurrent.threadpoolexecutor.runworker（threadpoolexecutor.java:1149）
  at Java.util.concurrent.threadpoolexecutor $ worker.run（threadpoolexecutor.java:624）
  在java.lang.thread.run（thread.java:748）
引起：java.io.ioexception：错误= 2，没有此类文件或目录
  在java.lang.unixprocess.forkandexec（本机方法）
  在java.lang.unixprocess。
  在java.lang.processimpl.start（processimpl.java:134）
  在java.lang.lang.processbuilder.start（processBuilder.java:1029）
  ... 31更多
22/07/03 13:26:32警告TaskSetManager：丢失任务0.0在阶段0.0（TID 0）（mypc executor驱动程序）：java.io.io.io.ioexception：无法运行
 

程序“/home/anaconda3/bin/python3”：错误= 2，没有这样的文件或 目录 在java.lang.lang.processbuilder.start（processBuilder.java:1048） atrg.apache.spark.api.python.pythonworkerfactory.startdaemon（pythonworkerfactory.scala：209） at org.apache.spark.api.python.pythonworkerfactory.createthroughdaemon（pythonworkerfactory.scala：132） at org.apache.spark.api.python.pythonworkerfactory.create（pythonworkerfactory.scala：105） atrg.apache.spark.sparkenv.createpythonworker（Sparkenv.Scala：119） 请访问org.apache.spark.api.python.basepythonrunner.com pupute（pythonrunner.scala：145） 请访问org.apache.spark.api.python.pythonrdd.com putute（pythonrdd.scala：65） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.scheduler.resulttask.runtask（resulttask.scala：90） atrg.apache.spark.scheduler.task.run（task.scala：131） atorg.apache.spark.executor.executor $ taskrunner。 在org.apache.spark.util.utils $。 请访问org.apache.spark.executor.executor $ taskrunner.run（executor.scala：500） at Java.util.concurrent.threadpoolexecutor.runworker（threadpoolexecutor.java:1149） at Java.util.concurrent.threadpoolexecutor $ worker.run（threadpoolexecutor.java:624） 在java.lang.thread.run（thread.java:748） 引起：java.io.ioexception：错误= 2，没有此类文件或目录 在java.lang.unixprocess.forkandexec（本机方法） 在java.lang.unixprocess。（unixProcess.java:247） 在java.lang.processimpl.start（processimpl.java:134） 在java.lang.lang.processbuilder.start（processBuilder.java:1029） ... 31多

  22/07/03 13:26:32错误tasksetManager：阶段0.0中的任务0失败1次；流产的工作
[阶段0：＆GT; （0 + 0） / 1]
----------------------------------------------------------------------------- --------------------------------------
PY4JJAVAERROR TRACKBACK（最近的最新电话）
/tmp/ipykernel_5618/3726558592.py in＆lt; gt; gt;
----＆gt; 1 df.show（）

〜/anaconda3/lib/python3.8/site-packages/pyspark/sql/dataframe.py in show（self，n，n，truncate，垂直）
    482“”
    483如果Isinstance（截短，布尔）并截断：
 - ＆gt; 484印刷（self._jdf.showstring（n，20，垂直））
    485其他：
    486打印（self._jdf.showstring（n，int（截断），垂直））

〜/anaconda3/lib/python3.8/site-ackages/py4j/java_gateway.py in __call __ __（self， *args）
   1307 
   1308答案= self.gateway_client.send_command（命令）
 - ＆gt; 1309 return_value = get_return_value（
   1310答案，self.gateway_client，self.target_id，self.name）
   1311 

〜/anaconda3/lib/python3.8/site-ackages/pyspark/sql/utils.py in Deco（*a，** kw）
    109 def deco（*a，** kw）：
    110尝试：
 - ＆gt; 111返回f（*a，** kw）
    112除了py4j.protocol.py4jjavaerror为e：
    113转换= convert_exception（e.java_exception）

〜/anaconda3/lib/python3.8/site-ackages/py4j/protoct.py in get_return_value（答案，gateway_client，target_id，name）
    324 value = output_converter [type]（答案[2：]，gateway_client）
    325如果答案[1] == reference_type：
 - ＆gt; 326提升Py4jjavaerror（
    327“调用{0} {1} {2}。\ n”时发生错误。
    328格式（target_id，“。”，名称），值）

PY4JJAVAERROR：调用O44.showstring时发生错误。
：org.apache.spark.sparkexception：由于阶段失败而流产的工作：阶段0.0中的任务0失败1次，最新失败：丢失
 

阶段0.0任务0.0（TID 0）（MYPC执行驱动程序）： java.io.ioexception：无法运行程序“/home/anaconda3/bin/python3”： 错误= 2，没有此类文件或目录 在java.lang.lang.processbuilder.start（processBuilder.java:1048） atrg.apache.spark.api.python.pythonworkerfactory.startdaemon（pythonworkerfactory.scala：209） at org.apache.spark.api.python.pythonworkerfactory.createthroughdaemon（pythonworkerfactory.scala：132） at org.apache.spark.api.python.pythonworkerfactory.create（pythonworkerfactory.scala：105） atrg.apache.spark.sparkenv.createpythonworker（Sparkenv.Scala：119） 请访问org.apache.spark.api.python.basepythonrunner.com pupute（pythonrunner.scala：145） 请访问org.apache.spark.api.python.pythonrdd.com putute（pythonrdd.scala：65） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52） 请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373） atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337） 请访问org.apache.spark.scheduler.resulttask.runtask（resulttask.scala：90） atrg.apache.spark.scheduler.task.run（task.scala：131） atorg.apache.spark.executor.executor $ taskrunner。 在org.apache.spark.util.utils $。 请访问org.apache.spark.executor.executor $ taskrunner.run（executor.scala：500） at Java.util.concurrent.threadpoolexecutor.runworker（threadpoolexecutor.java:1149） at Java.util.concurrent.threadpoolexecutor $ worker.run（threadpoolexecutor.java:624） 在java.lang.thread.run（thread.java:748） 引起：java.io.ioexception：错误= 2，没有此类文件或目录 在java.lang.unixprocess.forkandexec（本机方法） 在java.lang.unixprocess。（unixProcess.java:247） 在java.lang.processimpl.start（processimpl.java:134） 在java.lang.lang.processbuilder.start（processBuilder.java:1029） ... 31多

 驱动程序stacktrace：
  at rog.apache.spark.scheduler.dagscheduler.failjobandiondentententstages（dagscheduler.scala：2258）
  atorg.apache.spark.scheduler.dagscheduler。
  请访问org.apache.spark.scheduler.dagscheduler。
  在scala.collection.mutable.resizablearray.foreach（resizablearray.scala：62）
  在scala.collection.mutable.resizablearray.foreach $（resizablearray.scala：55）
  在scala.collection.mutable.arraybuffer.foreach（arraybuffer.scala：49）
  atrg.apache.spark.scheduler.dagscheduler.abortstage（dagscheduler.scala：2206）
  请访问org.apache.spark.scheduler.dagscheduler。
  atorg.apache.spark.scheduler.dagscheduler。
  在scala.option.foreach（option.scala：407）
  atrg.apache.spark.scheduler.dagscheduler.handletasksetfailed（dagscheduler.scala：1079）
  atrg.apache.spark.scheduler.dagschedulereventprocessloop.doonreceive（dagscheduler.scala：2445）
  atorg.apache.spark.scheduler.dagschedulereventprocessloop.onreceive（dagscheduler.scala：2387）
  atorg.apache.spark.scheduler.dagschedulereventprocessloop.onreceive（dagscheduler.scala：2376）
  atorg.apache.spark.util.eventloop $$ anon $ 1.lun（Eventloop.scala：49）
  atrg.apache.spark.scheduler.dagscheduler.runjob（dagscheduler.scala：868）
  atorg.apache.spark.sparkcontext.runjob（SparkContext.Scala：2196）
  atorg.apache.spark.sparkcontext.runjob（SparkContext.Scala：2217）
  atorg.apache.spark.sparkcontext.runjob（SparkContext.Scala：2236）
  atrg.apache.spark.sql.execution.sparkplan.executetake（SparkPlan.Scala：472）
  atrg.apache.spark.sql.execution.sparkplan.executetake（SparkPlan.Scala：425）
  atrg.apache.spark.sql.execution.collectlimitexec.executecollect（limit.scala：47）
  请访问org.apache.spark.sql.dataset.collectfromplan（dataset.scala：3696）
  at org.apache.spark.sql.dataset。$ anonfun $ head $ 1（dataset.scala：2722）
  atorg.apache.spark.sql.dataset。$ anonfun $ withAction $ 1（dataset.scala：3687）
  请访问org.apache.spark.sql.execution.sqlexecution $。$ anonfun $ withnewexecutionId $ 5（sqlexecution.scala：103）
  atrg.apache.spark.sql.execution.sqlexecution $ .withsqlConfPropaged（sqlexecution.scala：163）
  请访问org.apache.spark.sql.execution.sqlexecution $。$ anonfun $ withnewexecutionId $ 1（sqlexecution.scala：90）
  atorg.apache.spark.sql.sparksession.vithactive（SparkSession.Scala：775）
  atrg.apache.spark.sql.execution.sqlexecution $ .WithNewExeCutionId（sqlexecution.scala：64）
  atrg.apache.spark.sql.dataset.withaction（dataset.scala：3685）
  atrg.apache.spark.sql.dataset.head（dataset.scala：2722）
  atrg.apache.spark.sql.dataset.take（dataset.scala：2929）
  at org.apache.spark.sql.dataset.getrows（dataset.scala：301）
  请访问org.apache.spark.sql.dataset.showstring（dataset.scala：338）
  在sun.reflect.nativemethodaccessorimpl.invoke0（天然方法）
  在sun.reflect.nativemethodaccessorimpl.invoke（nativemethodaccessorimpl.java:62）
  在sun.reflect.delegatingmethodaccessorimpl.invoke（授权methodaccessorimpl.java:43）
  在java.lang.reflect.method.invoke（method.java:498）
  在py4j.reflection.methodinvoker.invoke（MethodInvoker.java:244）
  在py4j.reflection.reflectionengine.invoke（reflectionengine.java:357）
  在py4j.gateway.invoke（Gateway.java:282）
  在py4j.commands.abstractcommand.invokemethod（AbstractCommand.java:132）
  在py4j.commands.callcommand.execute（callcommand.java:79）
  在py4j.gatewayconnection.run（gatewayConnection.java:238）
  在java.lang.thread.run（thread.java:748）
引起：java.io.ioexception：无法运行程序“/home/home/anaconda3/bin/python3”：error = 2，没有此类文件或目录
  在java.lang.lang.processbuilder.start（processBuilder.java:1048）
  atrg.apache.spark.api.python.pythonworkerfactory.startdaemon（pythonworkerfactory.scala：209）
  at org.apache.spark.api.python.pythonworkerfactory.createthroughdaemon（pythonworkerfactory.scala：132）
  at org.apache.spark.api.python.pythonworkerfactory.create（pythonworkerfactory.scala：105）
  atrg.apache.spark.sparkenv.createpythonworker（Sparkenv.Scala：119）
  请访问org.apache.spark.api.python.basepythonrunner.com pupute（pythonrunner.scala：145）
  请访问org.apache.spark.api.python.pythonrdd.com putute（pythonrdd.scala：65）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.rdd.mappartitionsrdd.compute（mappartitionsrd.scala：52）
  请访问org.apache.spark.rdd.rdd.computeorreadcheckpoint（rdd.scala：373）
  atrg.apache.spark.rdd.rdd.iterator（rdd.scala：337）
  请访问org.apache.spark.scheduler.resulttask.runtask（resulttask.scala：90）
  atrg.apache.spark.scheduler.task.run（task.scala：131）
  atorg.apache.spark.executor.executor $ taskrunner。
  在org.apache.spark.util.utils $。
  请访问org.apache.spark.executor.executor $ taskrunner.run（executor.scala：500）
  at Java.util.concurrent.threadpoolexecutor.runworker（threadpoolexecutor.java:1149）
  at Java.util.concurrent.threadpoolexecutor $ worker.run（threadpoolexecutor.java:624）
  ...另外
引起：java.io.ioexception：错误= 2，没有此类文件或目录
  在java.lang.unixprocess.forkandexec（本机方法）
  在java.lang.unixprocess。
  在java.lang.processimpl.start（processimpl.java:134）
  在java.lang.lang.processbuilder.start（processBuilder.java:1029）
  ... 31更多