win10下安装pyspark后报错NativeCodeLoader:62

Question

根据这个链接https://blog.csdn.net/w417950... 配置了spark的环境，但是启动时都会报错：

搜索了一下没找到能解决我的问题的方法还是做伸手党了。。新手上路，请见谅

Answer 1

你确定这个不是正常情况?
参考: win10下安装pyspark
如果这个链接的安装方式是正确的话, 那么你应该是正确安装了.

NativeCodeLoader只是一个WARN, 警告不是错误, 你可以正常体验 pyspark.
参考:微软的一个解释

This warning is unrelated to RevoScaleR operation. It is usually a result of running in a 64-bit Linux environment while the
$HADOOP_HOME/lib/native/libhadoop.so
was compiled in a 32-bit environment. The warning is harmless and can be ignored.

但是原生的 hadoop 应该没配置好. 如果是 Linux 环境, 参考这篇文章看看能不能解决问题:异常解决：util.NativeCodeLoader: Unable to load native-hadoop library for your platform
对于 windows 环境, sorry, There are no native hadoop libraries for Windows, 参考:stackoverflow上的一个回答