pandas.read_html(url) 有时很快，有时卡住一小时都没用结果，如何处理？

Question

pandas.read_html(url) 有时很快，有时卡住一小时都没用结果，如何处理？
有没有设置超时的可能，看函数说明不支持超时设置

Answer 1

首先要排查哪个地方耗时最多，最可能的两个地方

1. 网络或服务器原因，导致页面读取慢
2. 网页内容多，pandas（实则 lxml）解析慢

设置超时可以改用 requests 库，如

import pandas as pd
import requests

url = 'http(s)://...'
arr = pd.read_html(requests.get(url, timeout=10).text)  # 超时时间为 10秒