在非标准位置构建支持 SSL 的 Python

Question

我需要在没有 root 访问权限的 RHEL 上安装多个 Python 模块。至少其中一个模块还需要访问 Python.h。

在这种情况下，我发现最好的办法是在 ~/local 中安装 python 及其依赖项。它通常可以正常工作，但这次 Python 无法构建 SSL 模块（请参阅下面的详细信息）。这是我正在做的事情的痕迹。

所以我下载了 python 6 源代码，然后我去了：

./configure --prefix=/home/fds/rms/local
make >& make.log

检查日志显示 ssl 模块尚未编译，但没有提及原因（在 make 或配置中没有其他 ssl 发生）：

Failed to find the necessary bits to build these modules:
_bsddb             _curses            _curses_panel
_hashlib           _sqlite3           _ssl   <----------

所以我认为，python 是根本没有找到任何 ssl 库（这很奇怪，但是嘿......）。所以我下载了 openssl-0.9.8r，

./config --prefix=/home/fds/rms/local shared
make
make install

现在回到 Python，我 ./configure 并再次 make。它失败了，但这次有所不同：

Failed to build these modules:
_hashlib           _ssl

对日志文件的仔细检查揭示了这一点：

gcc -pthread -shared build/temp.linux-x86_64-2.6/home/fds/rms/installers/Python-2.6.6/Modules/_ssl.o -L/home/fds/rms/local/lib -L/usr/local/lib -lssl -lcrypto -o build/lib.linux-x86_64-2.6/_ssl.so
*** WARNING: renaming "_ssl" since importing it failed: libssl.so.0.9.8: cannot open shared object file: No such file or directory

所以现在它正在拾取库，但不太正确（文件在应该在的位置）：

$ find /home/fds/rms/local -iname libssl.so.0.9.8
/home/fds/rms/local/lib/libssl.so.0.9.8

下一步是跟踪 make 并查看它在哪里寻找文件：

$ strace -f make 2>&1 | grep libssl.so.0.9.8
[pid  5584] open("/lib/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/lib64/tls/x86_64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/lib64/tls/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/lib64/x86_64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or   directory)
[pid  5584] open("/lib64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib64/tls/x86_64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib64/tls/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib64/x86_64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] write(1, "*** WARNING: renaming \"_ssl\" sin"..., 131*** WARNING: renaming "_ssl" since importing it failed: libssl.so.0.9.8: cannot open shared object file: No such file or directory
[pid  5584] open("/lib/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/lib64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib64/tls/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] open("/usr/lib64/libssl.so.0.9.8", O_RDONLY) = -1 ENOENT (No such file or directory)
[pid  5584] write(1, "*** WARNING: renaming \"_hashlib\""..., 135*** WARNING: renaming "_hashlib" since importing it failed: libssl.so.0.9.8: cannot open shared object file: No such file or directory

嗯，它在所有错误的地方寻找。我尝试给出一个提示：

CPPFLAGS="-I/home/fds/rms/local/include -I/home/fds/rms/local/include/openssl" LDFLAGS="-L/home/fds/rms/local/lib" ./configure --prefix=/home/fds/rms/local

但没有任何变化，并且 make 似乎根本没有尝试 /home/fds/rms/local/lib 。

我已经很多年没有这样做了，所以也许我忽略了一些事情。任何人都可以帮助解决这个问题吗？

Answer 1

如果 OpenSSL 不在标准位置，则需要编辑 Modules/Setup.dist 来指定 OpenSSL 的位置。来自在 Python 2.5.1 中获取 SSL 支持：

如果您发现自己的 Linux 机器需要 python 中的 ssl 支持（以
在 httplib.HTTPSConnection 等中使用客户端或
imaplib.IMAP4_SSL)，那么让我为您节省几个小时的寻找时间
在网络上（当然，如果你发现了这个，那就意味着
您已经完成了一些关卡狩猎！）。

你会知道是否需要将 ssl 支持编译到你的 python 中
安装时如果收到以下异常消息：
AttributeError：“模块”对象没有属性“ssl”

为了让这种情况消失，这样你就可以继续快乐地吊索
python 代码，您需要首先确保您有 OpenSSL
安装。默认情况下，它从源代码安装在：/usr/local/ssl

如果该目录不存在，则获取源包。

执行标准：

tar zxf openssl-0.9.8g.tar.gz
cd openssl-0.9.8g
./配置
制作
进行安装

然后获取 2.5.1 的 python 源代码： tar zxf Python-2.5.1.tgz
&& cd Python-2.5.1

然后你需要编辑Modules/Setup.dist：

204:# 用于 SSL 支持的套接字模块助手；你必须注释掉其他的
205:# 上面的套接字行，并可能编辑 SSL 变量：
206:SSL=/usr/local/ssl
207:_ssl _ssl.c \
208: -DUSE_SSL -I$(SSL)/包括 -I$(SSL)/include/openssl \
209：-L$(SSL)/lib -lssl -lcrypto

如果您在默认位置安装了 OpenSSL，您只需
取消注释第 206-209 行，然后：

<预置><代码>./配置
制作
进行安装

然后使用以下命令验证您的安装：

python /usr/local/lib/python2.5/test/test_socket_ssl.py
test_rude_shutdown ...
测试基本...
测试超时...

确保通过清理源根目录来获取对 Modules/Setup.dist 的更改（例如 make distclean ）并再次运行 configure 和 make。

Answer 2

@PeterVanGalen 有一个很好的方法，并且截至 2021 年都是相关的，但我不同意一些细节。

他修改 Modules/Setup 文件的方法导致 libssl.so 和 libcrypto.so 库成为 python 二进制文件本身的动态依赖项。这并不符合预期——这些应该是 python 可导入 .so 的依赖项，例如 _ssl.cpython-39-x86_64-linux-gnu.so。

他的方法也不包括如何在运行时而不是构建时找到 libssl.so 和 libcrypto.so 的解决方案。如果它们位于某些不寻常的自定义路径中，这一点很重要，否则 python 将根本无法运行或无法导入 ssl。您可以通过多种方式解决它（想到LD_LIBRARY_PATH和ld.so.conf），但我选择使用rpath，以便.so<当我使用这个 python 时， /code> 文件总是可以在其自定义位置找到，但否则不会妨碍。

这是我对 @PeterValGalen 方法的修改：

# First we need openssl installed in a custom location...
tar zxf openssl-1.1.1j.tar.gz
cd openssl-1.1.1j
./config --prefix=/my/weird/path --openssldir=/my/weird/path/ssl
make
make install  # Add `sudo` if needed for permission to /my/weird/path.
cd ..

# Now the python part...
wget https://www.python.org/ftp/python/3.9.2/Python-3.9.2.tgz
tar xf Python-3.9.2.tgz
cd Python-3.9.2
LDFLAGS="${LDFLAGS} -Wl,-rpath=/my/weird/path/lib" ./configure --with-openssl=/my/weird/path
make
make install  # Add `sudo` if needed for permissions.

当这样做时，openssl 库不是 python 二进制文件的依赖项，而是 _ssl*.so 的依赖项

$ ldd ./python | grep weird
# [Nothing]

$ ldd build/lib.linux-x86_64-3.9/_ssl.cpython-39-x86_64-linux-gnu.so  | grep weird
        libssl.so.1.1 => /my/weird/path/lib/libssl.so.1.1 (0x00007f733ee73000)
        libcrypto.so.1.1 => /my/weird/path/lib/libcrypto.so.1.1 (0x00007f733e9ab000)

，它可以工作：

$ ./python -c "import ssl; print('yay')"
yay

$ ./python Lib/test/test_ssl.py
# ... lots of good stuff...
OK (skipped=10)

Answer 3

在 Linux Red Hat 7.7 x86_64 上，以下工作在我的主目录 (/home/unix/vangalen) 中安装 openssl-1.1.1d 和 Python-3.8.1：

安装 OpenSSL
源1 source2

cd ~
wget https://www.openssl.org/source/openssl-1.1.1d.tar.gz
tar -xzf openssl-1.1.1d.tar.gz
cd /home/unix/vangalen/openssl-1.1.1d
./config --prefix=/home/unix/vangalen/openssl --openssldir=/home/unix/vangalen/openssl
make
make test
make install

安装Python
源代码2 source3 source4

cd ~
wget https://www.python.org/ftp/python/3.8.1/Python-3.8.1.tgz
tar xf Python-3.8.1.tgz

在文本编辑器中修改Python-3.8.1/Modules/Setup。如果该文件不存在，您可能需要先执行失败的运行。取消注释行并调整第 206 至 213 行中的 SSL 别名：

_socket socketmodule.c

# 用于 SSL 支持的套接字模块助手；你必须注释掉其他的
# 上面的套接字行，并可能编辑 SSL 变量：
SSL=/home/unix/vangalen/openssl
_ssl _ssl.c \
  -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
  -L$(SSL)/lib -lssl -lcrypto

cd ~/Python-3.8.1
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/home/unix/vangalen/openssl/lib
./configure --prefix=/home/unix/vangalen/py-381 --with-openssl=/home/unix/vangalen/openssl
make
make test
make install

Answer 4

在 Bourne shell（/bin/sh 或 /bin/bash）中：

$ LD_LIBRARY_PATH=/usr/local/lib
$ export LD_LIBRARY_PATH
$ make

在 C-shell（/bin/csh 或 /bin/tcsh）中：

% setenv LD_LIBRARY_PATH /usr/local/lib
% make

Answer 5

对我来说，编辑 Modules/Setup 还不够，因为 _hashlib 模块最终仍然使用了错误的 OpenSSL 版本；在我的 SLES 系统上，运行时未考虑 LD_LIBRARY_PATH。

有效的方法是通过编辑 setup.py 按照 GitHub 补丁：eddy-geek/ python_custom_openssl.diff，然后make clean &&制作。

有关为什么我在 Stack Overflow 上使用静态链接的更多详细信息，请访问 使用自定义 openssl 版本编译 python 时的 Coredump。

Answer 6

这是我使用 Python 2.7.11 的完整过程。

---

在顶级Python2.7.11源目录中：

1. 更改Modules/Setup.dist，Modules/Setup：取消注释_ssl部分，注释掉_socket（如果已注释掉，则无操作），取消注释并适当设置 SSL（新 ssl lib/includes 的路径等）

   注意：Modules/Setup 文件最初并不存在，但我相信在第一次运行后它会从 Modules/Setup.dist 获取内容。确保每次运行前更改都反映在此处。

2. 应用补丁：http://gist.github.com/eddy-geek/9604982
   （如果之前运行过 make，则进行 distclean）

   ./configure --prefix=/root/.local/aks/py-ssl/python2.7 --enable-shared
   
   # 修改：Makefile->将 svnversion 设置为“”
   
   制作
   
   进行替代安装
   

Answer 7

OpenSSL

cd /opt
sudo wget https://www.openssl.org/source/openssl-1.1.1q.tar.gz --no-check-certificate
sudo mkdir /opt/openssl
sudo tar xfvz openssl-1.1.1q.tar.gz --directory /opt/openssl
export LD_LIBRARY_PATH=/opt/openssl/lib
cd /opt/openssl/openssl-1.1.1q/
sudo ./config --prefix=/opt/openssl --openssldir=/opt/openssl/ssl
sudo make
sudo make test
sudo make install
sudo ln -s /usr/local/bin/openssl /usr/bin/openssl

Python 3.9.13

cd /usr/src 
sudo wget https://www.python.org/ftp/python/3.9.13/Python-3.9.13.tgz 
sudo tar xzf Python-3.9.13.tgz
cd /usr/src/Python-3.9.13
sudo CFLAGS="-I/opt/openssl/include/" LDFLAGS="${LDFLAGS} -Wl,-rpath=$LD_LIBRARY_PATH" ./configure --enable-optimizations --with-openssl=/opt/openssl
sudo make altinstall -j6
sudo ln -s /usr/local/bin/python3.9 /usr/bin/python3

pip3

sudo ln -s /usr/local/bin/pip3.9 /usr/bin/pip3
pip3 install --upgrade pip

在 Ubuntu 14.04.06 上测试

Answer 8

在我返回 openssl 日志之前，我得到了相同的结果。
在那里我看到构建 openssl 时需要使用 -fPIC：
构建'_ssl'扩展：

gcc -pthread -fPIC -fno-strict-aliasing -g -O2 -DNDEBUG -g -fwrapv -O3 -Wall -Wstrict-prototypes -I/usr/local/ssl/include -I. -IInclude -I./Include -I/usr/local/include -I/home/feramos/Python-2.7.3/Include -I/home/feramos/Python-2.7.3 -c /home/feramos/Python-2.7.3/Modules/_ssl.c -o build/temp.linux-x86_64-2.7/home/feramos/Python-2.7.3/Modules/_ssl.o
gcc -pthread -shared build/temp.linux-x86_64-2.7/home/feramos/Python-2.7.3/Modules/_ssl.o -L/usr/local/ssl/lib -L/usr/local/lib -lssl -lcrypto -o build/lib.linux-x86_64-2.7/_ssl.so
/usr/bin/ld: /usr/local/ssl/lib/libcrypto.a(x86_64cpuid.o): relocation R_X86_64_PC32 against `OPENSSL_cpuid_setup' can not be used when making a shared object; recompile with -fPIC

openssl-0.9.8g]# .config -fPIC

然后，make，make install openssl，然后再次构建Python。

Answer 9

我有一组针对下面 2 和 3 的静态 openssl 和静态 libintl 的补丁。

对于 openssl（第一个补丁），您必须设置环境变量 OPENSSL_ROOT。

这是基于 http://gist.github.com/eddy-geek/9604982 的补丁。

对于Python 2.7.14：

https://gist.github.com/rkitover/2d9e5baff1f1cc4f2618dee53083bd35

< a href="https://gist.github.com/rkitover/afab7ed3ac7ce1860c43a258571c8ae1" rel="nofollow noreferrer">https://gist.github.com/rkitover/afab7ed3ac7ce1860c43a258571c8ae1

对于 Python 3.6.3：

https://gist.github.com/rkitover/93d89a679705875c59275fb0a8f22b45

https://gist.github.com/rkitover/b18f19eafda3775a9652cc9cdf3ec914

Answer 10

对于MAC OS HIGH Sierra，
和Python-3.5.6
在上面的答案中，openssl 安装是使用源代码完成的，但是如果您使用brew 安装，它会告诉安装的软件包在哪里，所以如果您使用brew 安装openssl

brew install openssl

这会将openssl 安装在 /usr/local/Cellar/openssl/ 1.0.2o_2/ 此路径需要在

的 Modules/Setup.dist 中更新，请遵循上面提到的这个答案，其中未提及 openssl 安装位置来更新 Modules/Setup.dist

在上述行中将 SSL 值更新为

SSL=/usr/local/Cellar/openssl/1.0.2o_2/

并取消注释行，
执行 CMM，您的 python 将使用 openssl 进行编译。

Answer 11

我正在构建 Python2.7.13，我看到了同样的问题。对于 2.7.13，您必须使用“openssl1.0.0e”或更高版本才能使其工作。我尝试了 openssl-0.9.8g 但不起作用。
不知何故，我无法仅修改 Modules/Setup.dist 使其工作，因此我必须手动编译 _ssl.o。
我想这是因为我提供的 openssl-0.9.8g 不起作用，并且它搜索了系统默认的 libssl.so.10 ，但它也不起作用。

Answer 12

尝试将 -Wl,-rpath,/home/fds/rms/local/lib 添加到 LDPATH。

Answer 13

我在下面找到了一个非常好的和完整的解释。

• 标题：
  如何在没有 SSL 问题的情况下为多个帐户安装共享 Python

https://medium.com/@ enahwe/how-to-06bc8a042345