Python：从CSV/Excel列中读取URL

Question

我的Excel文件的最后一列中充满了URL链接。我想阅读这些URL的文本，以便可以在文本中搜索关键词。问题在于请求。get无法读取URL的列。你能帮我吗？谢谢你！！！

我当前的代码在这里：

import pandas as pd
data=pd.read_excel('/Users/LE/Downloads/url.xlsx')
url=data.URL
res=requests.get(url, headers=headers)
html=res.text
soup = BeautifulSoup(html, 'lxml')

它无法使用，因为“ URL”是一列。

Answer 1

您在打开文件并使用URL提取列方面做得很好，

最后一步是循环浏览它们 - 重复URL中每个URL的请求 -

import requests
import pandas as pd

# open the file
data = pd.read_excel('/Users/LE/Downloads/url.xlsx')

# get the urls
urls = data.URL

# go through every url in the urls
for url in urls:

    # do the request for this url
    res = requests.get(url, headers=headers)

    # soup-it
    html = res.text
    soup = BeautifulSoup(html, 'lxml')

Answer 2

正如您注意到的那样，此行将为您提供整个列：

url=data.URL

但是，您可以在列上迭代并单独访问每个URL，就像这样：

import pandas

data = pandas.read_excel("PATH/TO/XLSX")

for url in data.URL:
    print(url)

Answer 3

该行将数据框的URL列分配给'url'：

url=data.URL

'url'现在是PANDAS系列对象，并且可以使用for loop迭代：

for u in url:
    # your request here

请参阅“ pandas coputage” on series on系列上的信息： https://pandas.pydata.org/docs/reference/reference/reference/series/series.html

//pandas.pydata.org/docs/reference/series.html 保存位于本地URL上的文本文件的内容，然后搜索这些保存的文件，以避免执行多个请求对同一文件。