通过 Python 抓取表单数据

Question

我希望获取需要传递到特定网站的表单数据并提交。下面是我需要模拟的 html（仅表单）。我已经为此工作了几个小时，但似乎没有任何进展。我希望它可以在 Google App Engine 中运行。任何帮助都会很好。

<form method="post" action="/member/index.bv"> 
        <table cellspacing="0" cellpadding="0" border="0" width="100%"> 
            <tr> 
                <td align="left"> 
                    <h3>member login</h3><input type="hidden" name="submit" value="login" /><br /> 
                </td> 
            </tr> 
            <tr> 
                <td align="left" style="color: #8b6c46;"> 
                    email:<br /> 
                    <input type="text" name="email" style="width: 140px;" /> 
                </td> 
            </tr> 
            <tr> 
                <td align="left" style="color: #8b6c46;"> 
                    password:<br /> 
                    <input type="password" name="password" style="width: 140px;" /> 
                </td> 
            </t>
            <tr> 
                <td> 
                    <input type="image" class="formElementImageButton" src="/resources/default/images/btnLogin.gif" style="width: 46px; height: 17px;" /> 
                </td> 
            </tr> 
            <tr> 
                <td align="left"> 
                    <div style="line-height: 1.5em;"> 
                        <a href="/join/" style="color: #8b6c46; font-weight: bold; text-decoration: underline; ">join</a><br /> 
                        <a href="/member/forgot/" style="color: #8b6c46; font-weight: bold; text-decoration: underline;">forgot password?</a><input type="hidden" name="lastplace" value="%2F"><br /> 
                        having trouble logging on, <a href="/cookieProblems.bv">click here</a> for help
                    </div> 
                </td> 
            </tr> 
        </table> 
    </form>

目前我正在尝试使用此代码来访问它，但它不起作用。我对此很陌生，所以也许我只是想念它。

import urllib2, urllib

url = 'http://blah.com/member/index.bv'
values = {'email' : '[email protected]',
          'password' : 'somepassword'}

data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

Answer 1

这是第三方网站的登录页面吗？如果是这样，那么可能不仅仅是简单地发布表单输入。

例如，我刚刚在我自己的网站之一的登录页面上尝试了这一点。简单的发布请求在我的情况下不起作用，这可能与您正在访问的登录页面相同。

对于初学者来说，登录表单可能有一个隐藏的 csrf 令牌 值，您在发帖时必须发送该值您的登录请求。这意味着您必须首先获取登录页面并解析生成的html以获取csrf令牌值。服务器还可能在登录请求中需要其会话 cookie。

我正在使用 requests 模块来处理 get/post 和 beautifulsoup 来解析数据。

import requests                                                                                                                                                                                             
import zlib                                                                                                                                                                                                 
from BeautifulSoup import BeautifulSoup                                                                                                                                                                     

# first get the login page                                                                                                                                                                                                    
response = requests.get('https://www.site.com')                                                                                                                                                   
# if content is zipped, then you'll need to unzip it                                                                                                                                                                                 
html = zlib.decompress(response.read(), 16+zlib.MAX_WBITS)  
# parse the html for the csrf token                                                                                                                                                
soup = BeautifulSoup(html)                                                                                                                                                                                  
csrf_token = soup.find(name='input', id='csrf_token')['value']                                                                                                                                              

# now, submit the login data, including csrf token and the original cookie data                                                                                                                                          
response = requests.post('https://www.site.com/login',                                                                                                                                       
            {'csrf_token': csrf_token,                                                                                                                                                                  
             'username': 'username',                                                                                                                                                                            
             'password': 'ckrit'},                                                                                                                                                                           
             cookies=response.cookies)                                                                                                                                                                   

login_result = zlib.decompress(response.read(), 16+zlib.MAX_WBITS)                                                                                                                                                  
print login_result    

我不能说 GAE 是否允许这样做，但至少它可能有助于确定您在特定情况下可能需要什么。另外，正如卡尔指出的那样，如果使用提交输入来触发帖子，则必须将其包含在内。在我的特定示例中，这不是必需的。

Answer 2

您缺少隐藏的 Submit=login 参数。你有没有尝试过：

import urllib2, urllib

url = 'http://blah.com/member/index.bv'
values = {'submit':'login',
          'email' : '[email protected]',
          'password' : 'somepassword'}

data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()