Conda：如何防止 mkl 到 openblas 切换

Question

Conda 想要将我的 blas、lapack 等软件包从 mkl 降级为 openblas 版本。我知道 conda 与 mkl 和 openblas 的混合似乎并不是一个不常见的问题。然而，我还没有找到适合我的解决方案。我安装了这些软件包

blas                      2.113                       mkl    conda-forge
blas-devel                3.9.0            13_linux64_mkl    conda-forge
libblas                   3.9.0            13_linux64_mkl    conda-forge
libcblas                  3.9.0            13_linux64_mkl    conda-forge
liblapack                 3.9.0            13_linux64_mkl    conda-forge
liblapacke                3.9.0            13_linux64_mkl    conda-forge
mkl                       2022.0.1           h06a4308_117  
mkl-devel                 2022.0.1           h66538d2_117  
mkl-include               2022.0.1           h06a4308_117  
mkl-service               2.4.0            py39h404a4ab_0    conda-forge
mkl_fft                   1.3.1            py39h6964271_2    conda-forge
mkl_random                1.2.2            py39h8b66066_1    conda-forge

，并且有一个 .condarc （在 Linux 上），其中包含

channels:
  - conda-forge
  - defaults
dependencies:
  - python>=3.6
  - numpy>=1.13
  - scipy>=0.18
  - cython>=0.29
  - mkl
  - mkl-devel
  - libblas=*=*mkl
  - bottleneck
  - pip
  - setuptools>=30.3.0
  - h5py
  - pyyaml
  - pytest

ssl_verify: true
auto_activate_base: false

此外，在 conda-meta 目录中我有一个 pinned 文件，包含行 libblas=*=*mkl。然而，在 conda update --all 上建议：

The following packages will be DOWNGRADED:
  ... other pkgs ...
  libblas                              3.9.0-13_linux64_mkl --> 3.9.0-13_linux64_openblas
  libcblas                             3.9.0-13_linux64_mkl --> 3.9.0-13_linux64_openblas
  liblapack                            3.9.0-13_linux64_mkl --> 3.9.0-13_linux64_openblas

为什么，尽管有 .condarc 和 pinned 文件，我还是得到了这个开关从 mkl 到 openblas，我还能做些什么来防止它？

Answer 1

请参阅 https://conda-forge 末尾的注释部分.org/docs/maintainer/knowledge_base.html#switching-blas-implementation

如果您想提交特定的 blas 实现，您可以通过在您的环境中固定 blas 实现来防止 conda 切换回来。要提交 mkl，请将 blas=*=mkl 添加到 /envs//conda-meta/pinned，如所述在 conda 文档中。

Answer 2

我正在为我自己的操作发布一个奇怪的解决方法。这终于对我有用了。

首先，我无法说服 conda 尊重 .condarc 中的频道顺序以及 中的内容>在通过任何其他建议运行更新之前固定文件，包括在stackoverflow之外找到的文件。

第二，我存储了一个conda列表 | grep mkl，一个 conda 列表 | grep intel 和 conda 列表 | grep open 供以后参考。然后我“屈服”并让“升级”发生，运行 conda update --all。不用说，在那之后，我的环境确实显示了所有 mkl 类型库被 openblas 内容不必要的替换。

第三，在 openblas 感染的环境中，我“重新安装”了 mkl

    conda install blas=*=*mkl
    conda install libblas=*=*mkl
    conda update numpy
    conda update scipy
    conda install intel-openmp   # the "update" had also removed this ...

同时确保没有 openblas -stuff 通过在任何相关包上执行 conda remove 来保留。 （我并不是说上述所有命令实际上都是达到 mkl 环境的原始状态所必需的。但这就是我所做的。）

第四，比较根据前面第二步骤的参考说明，我检查了此时我的环境声称已返回“all-mkl”。此外，使用这个非常有用的网站 http://markus-beuckelmann.de/blog /boosting-numpy-blas.html 我还检查了，对于预期的典型 mkl 计时来说，这确实是正确的。

另一方面，有一个非常奇怪和令人困惑的问题，它可能与OP无关，但我在这种情况下偶然发现：在WWW上，人们发现了很多许多引用指出，对于 numpy 或 scipy 实际“使用”mkl 来说，必须有这种

    In []: numpy.show_config()
    blas_mkl_info:
        libraries = ['mkl_rt', 'pthread']
        library_dirs = ['/home/abcd/efgh..../lib']

输出numpy/scipy.show_confi()。总的来说，这似乎不正确。事实上，当人们得到

    In []: numpy.show_config()
    blas_info:
        libraries = ['cblas', 'blas', 'cblas', 'blas']
        library_dirs = ['/home/abcd/efgh..../lib']

这一点时，只要在 /home/abcd/efgh..../lib 中人们发现一切都像

    liblapacke.so -> libmkl_rt.so.2*
    libblas.so -> libmkl_rt.so.2*
    ...a.s.o.

我所做的那样链接，就不会引起恐慌。

（conda 太痛苦了。叹息）

Answer 3

每当 Intel MKL 包更新但 numpy 包没有更新时，包管理就会变得一团糟。我最终可能会安装 Intel MKL，但 numpy 使用的是 openblas。为了在我的设置中实现此功能，我经常在创建新环境时执行此操作：

conda create  -y --name test python=3 numpy mkl cmake blas=*=*mkl

以便与 numpy 同时安装 MKL，并且 numpy 将使用 MKL。这通常会导致旧版本的 MKL，因为 numpy 与旧版本的 MKL 链接。

如果没有 blas=*=*mkl，我通常会得到一个基于 openblas 的 numpy，并且安装了最新版本的 Intel MKL，但没有任何东西使用。

conda create -n test33 numpy mkl blas=*=*mkl
.
.
.
The following NEW packages will be INSTALLED:

  blas               pkgs/main/osx-64::blas-1.0-mkl
.
  numpy              pkgs/main/osx-64::numpy-1.21.5-py39h2e5f0a9_1
.
  mkl                pkgs/main/osx-64::mkl-2021.4.0-hecd8cb5_637
.

# results in:
blas_opt_info:
    libraries = ['mkl_rt', 'pthread']

conda create -n test33 numpy mkl
.
.
.
The following NEW packages will be INSTALLED:

  blas               pkgs/main/osx-64::blas-1.0-openblas
.
  numpy              pkgs/main/osx-64::numpy-1.21.5-py39h9c3cb84_1
.
  mkl                pkgs/main/osx-64::mkl-2022.0.0-hecd8cb5_105
.

# results in:
blas_opt_info:
    libraries = ['openblas', 'openblas']

不幸的是，numpy 似乎没有在其版本 ID 中显示它所链接的 blas 库。通常，您的环境中最终会同时出现 openblas 和 mkl。