EMR笔记本的跑步集群中的VENV中的numpy版本不匹配的numpy版本

Question

尝试在使用 EMR 笔记本运行的集群上升级 numpy 版本。

我的conf文件是：

%%configure -f
{ "conf":{
          "spark.pyspark.python": "python3",
          "spark.pyspark.virtualenv.enabled": "true",
          "spark.pyspark.virtualenv.type":"native",
          "spark.pyspark.virtualenv.bin.path":"/usr/bin/virtualenv",
          "driverMemory": "6000M"
         }
}

并且我的sc.list_packages()是：

Package                    Version
-------------------------- ---------
absl-py                    0.8.1
astor                      0.8.0
beautifulsoup4             4.8.1
bleach                     3.1.0
blis                       0.7.7
boto                       2.49.0
boto3                      1.21.37
botocore                   1.24.37
catalogue                  2.0.7
certifi                    2021.10.8
charset-normalizer         2.0.12
click                      8.0.4
contextvars                2.4
cycler                     0.11.0
cymem                      2.0.6
dataclasses                0.8
en-core-web-sm             3.2.0
funcsigs                   1.0.2
gast                       0.3.2
google-pasta               0.1.7
grpcio                     1.24.3
html5lib                   1.0.1
idna                       3.3
immutables                 0.17
importlib-metadata         4.8.3
importlib-resources        5.4.0
Jinja2                     3.0.3
jmespath                   0.9.4
joblib                     1.1.0
Keras-Applications         1.0.6
Keras-Preprocessing        1.0.5
kiwisolver                 1.3.1
langcodes                  3.3.0
lxml                       4.4.2
Markdown                   3.1.1
MarkupSafe                 2.0.1
matplotlib                 3.3.4
murmurhash                 1.0.6
mysqlclient                1.4.6
nltk                       3.6.7
nose                       1.3.4
numpy                      1.19.5
packaging                  21.3
pandas                     1.1.5
pathy                      0.6.1
Pillow                     8.4.0
pip                        21.3.1
preshed                    3.0.6
protobuf                   3.10.0
py-dateutil                2.2
pydantic                   1.8.2
pyparsing                  3.0.8
python-dateutil            2.8.2
python36-sagemaker-pyspark 1.2.6
pytz                       2019.3
PyYAML                     3.11
regex                      2022.3.15
requests                   2.27.1
s3transfer                 0.5.2
scikit-learn               0.24.2
scipy                      1.5.4
seaborn                    0.11.2
setuptools                 59.6.0
six                        1.13.0
smart-open                 5.2.1
soupsieve                  1.9.5
spacy                      3.2.4
spacy-legacy               3.0.9
spacy-loggers              1.0.2
spacy-lookups-data         1.0.3
srsly                      2.4.2
tensorboard                1.14.0
tensorflow                 1.14.0
tensorflow-estimator       1.14.0
termcolor                  1.1.0
thinc                      8.0.15
threadpoolctl              3.1.0
tqdm                       4.64.0
typer                      0.4.1
typing-extensions          3.10.0.2
urllib3                    1.26.9
wasabi                     0.9.1
webencodings               0.5.1
Werkzeug                   0.16.0
wheel                      0.37.1
windmill                   1.6
wrapt                      1.11.2
zipp                       3.6.0

并且很明显我已经安装了numpy 1.19.5。但是，当我导入 numpy 时，我得到：

如何让集群指向正确的库？请记住，我没有集群的管理员权限。谢谢