我该如何自动扩展整个网页以用pandas（Python）刮擦？

Question

我正在尝试从 https://coinmarketcap.com/exchanges/exchanges/binance/binance/ ）。在页面上，有一个“负载更多”按钮。单击此点时，将显示更多的行，但URL不会更改。当我使用pd.read_html（url（>）将此URL传递给PANDAS时，它会拉出前100行，而无需其他。如何通过url或命令自动加载所有表？任何帮助都将受到赞赏。 代码：

import json
import requests
import pandas as pd
from bs4 import BeautifulSoup
import lxml
import html5lib


url = "https://coinmarketcap.com/exchanges/binance/"


df = pd.read_html(url)
pd.set_option("display.max_rows", None, "display.max_columns", None)
print(df)

Answer 1

是的，由于所有结果已加载，URL不会更改，默认情况下没有显示它们以节省加载时间。
您很可能需要创建一个脚本，该脚本会在出现时继续单击“更多负载”，然后运行刮板。