属性错误：“NoneType”对象没有属性“strip”；使用 Python WebCrawler

Question

我正在编写一个 python 程序来使用 urllib2、api 的 python twitter 包装器和 BeautifulSoup 的组合来抓取 twitter。但是，当我运行程序时，出现以下类型的错误：

ray_krueger RafaelNadal

Traceback (most recent call last):
  File "C:\Users\Public\Documents\Columbia Job\Python Crawler\Twitter Crawler\crawlerversion9.py", line 78, in <module>
    crawl(start_follower, output, depth)
  File "C:\Users\Public\Documents\Columbia Job\Python Crawler\Twitter Crawler\crawlerversion9.py", line 74, in crawl
    crawl(y, output, in_depth - 1)
  File "C:\Users\Public\Documents\Columbia Job\Python Crawler\Twitter Crawler\crawlerversion9.py", line 74, in crawl
    crawl(y, output, in_depth - 1)
  File "C:\Users\Public\Documents\Columbia Job\Python Crawler\Twitter Crawler\crawlerversion9.py", line 64, in crawl
    request = urllib2.Request(new_url)
  File "C:\Python28\lib\urllib2.py", line 192, in __init__
    self.__original = unwrap(url)
  File "C:\Python28\lib\urllib.py", line 1038, in unwrap
    url = url.strip()
AttributeError: 'NoneType' object has no attribute 'strip'

我完全不熟悉这种类型的错误（Python 的新手）并且在线搜索它只得到很少的信息。我也附上了我的代码，但是你有什么建议吗？

谢谢 斯内希齐

import twitter
import urllib
import urllib2
import htmllib
from BeautifulSoup import BeautifulSoup
import re

start_follower = "NYTimeskrugman" 
depth = 3
output = open(r'C:\Python27\outputtest.txt', 'a') #better to use SQL database thanthis

api = twitter.Api()

#want to also begin entire crawl with some sort of authentication service 

def site(follower):
    followersite = "http://mobile.twitter.com/" + follower
    return followersite

def getPage(follower): 
    thisfollowersite = site(follower)
    request = urllib2.Request(thisfollowersite)
    response = urllib2.urlopen(request)
    return response

def getSoup(response): 
    html = response.read()
    soup = BeautifulSoup(html)
    return soup

def get_more_tweets(soup): 
    links = soup.findAll('a', {'href': True}, {id : 'more_link'})
    for link in links:
        b = link.renderContents()
        if str(b) == 'more':
            c = link['href']
            d = 'http://mobile.twitter.com' +c
            return d

def recordlinks(soup,output):
    tags = soup.findAll('div', {'class' : "list-tweet"})#to obtain tweet of a follower
    for tag in tags: 
        a = tag.renderContents()
        b = str (a)
        output.write(b)
        output.write('\n\n')

def checkforstamp(soup):
    times = nsoup.findAll('a', {'href': True}, {'class': 'status_link'})
    for time in times:
        stamp = time.renderContents()
        if str(stamp) == '3 months ago':
            return True

def crawl(follower, output, in_depth):
    if in_depth > 0:
        output.write(follower)
        a = getPage(follower)
        new_soup = getSoup(a)
        recordlinks(new_soup, output)
        currenttime = False 
        while currenttime == False:
            new_url = get_more_tweets(new_soup)
            request = urllib2.Request(new_url)
            response = urllib2.urlopen(request)
            new_soup = getSoup(response)
            recordlinks(new_soup, output)
            currenttime = checkforstamp(new_soup)
        users = api.GetFriends(follower)
        for u in users[0:5]:
            x = u.screen_name 
            y = str(x)
            print y
            crawl(y, output, in_depth - 1)
            output.write('\n\n')
        output.write('\n\n\n')

crawl(start_follower, output, depth)
print("Program done. Look at output file.")

Answer 1

AttributeError：“NoneType”对象没有属性“strip”

它的意思正是它所说的： url.strip() 需要首先弄清楚 url.strip 是什么，即寻找上 url 的 strip 属性。失败是因为 url 是一个 'NoneType' 对象，即类型为 NoneType 的对象，即特殊对象 None.

据推测，url 应该是 str，即文本字符串，因为它们确实具有 strip 属性。

这发生在文件“C:\Python28\lib\urllib.py”中，即urllib模块。这不是您的代码，因此我们向后查看异常跟踪，直到找到我们编写的内容：request = urllib2.Request(new_url)。我们只能假设我们传递给 urllib2 模块的 new_url 最终成为 urllib 中某处的 url 变量。

那么 new_url 从哪里来呢？我们查找有问题的代码行（请注意，异常回溯中有一个行号），我们看到前一行是 new_url = get_more_tweets(new_soup)，所以我们使用 get_more_tweets 的结果。

对此函数的分析表明，它会搜索一些链接，尝试找到标记为“更多”的链接，并为我们提供它找到的第一个此类链接的 URL。我们没有考虑的情况是没有这样的链接。在这种情况下，函数刚刚到达末尾，并隐式返回 None （这就是 Python 处理到达末尾而没有显式返回的函数的方式，因为 Python 中没有返回类型的规范，并且必须始终返回一个值） ，这就是该值的来源。

据推测，如果没有“更多”链接，那么我们根本不应该尝试点击该链接。因此，我们通过显式检查此 None 返回值来修复错误，并在这种情况下跳过 urllib2.Request，因为没有可跟踪的链接。

顺便说一下，这个 None 值对于尚未确定的 currenttime 来说是比 False 值更惯用的“占位符”值，您当前正在使用。您还可以考虑在变量和方法名称中使用下划线分隔单词时更加一致，以使内容更易于阅读。 :)

Answer 2

当您

request = urllib2.Request(new_url)

在 crawl() 中执行此操作时，new_url 为 None。当您从 get_more_tweets(new_soup) 获取 new_url 时，这意味着 get_more_tweets() 返回 None。

这意味着 return d 永远不会被达到，这意味着 str(b) == 'more' 永远不会为 true，或者 soup.findAll() code> 没有返回任何链接，因此 for link in links 不执行任何操作。

Answer 3

当您执行以下操作时：request = urllib2.Request(new_url)，new_url 应该是一个字符串，此错误表明它是None。

您从 get_more_tweets 函数获取 new_url 的值，因此，它在某处返回 None 。

def get_more_tweets(soup): 
    links = soup.findAll('a', {'href': True}, {id : 'more_link'})
    for link in links:
        b = link.renderContents()
        if str(b) == 'more':
            c = link['href']
            d = 'http://mobile.twitter.com' +c
            return d

当我们查看这段代码时，该函数仅在某些链接上 str(b)=="more" 时返回，因此您的问题是“为什么 str(b)=="more" 从未发生？ ”。

Answer 4

您将 None 而不是字符串传递给 urllib2.Request()。查看代码，这意味着 new_url 有时是 None 。查看您的 get_more_tweets() 函数（该变量的来源），我们看到：

def get_more_tweets(soup): 
    links = soup.findAll('a', {'href': True}, {id : 'more_link'})
    for link in links:
        b = link.renderContents()
        if str(b) == 'more':
            c = link['href']
            d = 'http://mobile.twitter.com' +c
            return d

仅当 b 为 "more 时，此函数才会返回一个值" 因为您的 return 语句在 if 下缩进。如果它等于任何其他值，则不返回任何值（即None）。

您需要始终在此处返回有效的 URL，或者需要在将其传递给 urllib2.Request() 之前检查 None 返回值。