尝试在 Scrapy 中使用 ItemExporter

Question

我正在尝试在我的代码中实现某种项目导出器。我的基本代码现在是抓取 si.com 的击球率，仅作为示例。结果显示在一长行中，我想修改存储在 .csv 文件中的输出，将其放在一列中。下面我包括了蜘蛛，我正在使用的项目导出器只是找到的基本导出器 此处。 我真正想要发生的是将每个项目并将结果存储在彼此相邻的列中，而不是连续存储所有三个结果的一长行。

from scrapy.spider import BaseSpider
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.exporter import XmlItemExporter

from mlb1.items import MlbItem

class MLBSpider(BaseSpider):
   name = "si.com"
   allowed_domains = ["si.com"]
   start_urls = [
       http://sportsillustrated.cnn.com/baseball/mlb/stats/2011/batting/ml_0_byBATTING_AVG.html"
       ]

   def parse(self, response):
       hxs = HtmlXPathSelector(response)
       sites = hxs.select('//div[@class="cnnSASD_sport-mlb"]/div[@class="cnnSASD_page-leadersPlayersExpandedStats"]/div[@class="cnnStatsContent"]')
       items = []
       for site in sites:
           item = MlbItem()
           item['name'] = site.select('//table[@class="cnnSASD_first"]/*/td[@class="cnnCol1"]//text()').extract()
           item['team'] = site.select('//table[@class="cnnSASD_first"]/*/td[@class="cnnCol2"]//text()').extract()
           item['batave'] = site.select('//table[@class="cnnSASD_first"]/*/td[@class="cnnColHighlight"]//text()').extract()
           items.append(item)
       return items

我对 Python 编码还很陌生，所以 scrapy 文档没有太大帮助。当我尝试运行代码时，出现错误“ImportError：加载对象‘mlb1.pipelines.XmlExportPipeline’时出错：无法导入名称信号”。任何人可以提供的任何帮助将不胜感激。

Answer 1

请参阅此示例以提取玩家名称

def parse(self, response):
    hxs = HtmlXPathSelector(response)
    player_names = hxs.select('//table[@class="cnnSASD_first"]//td[@class="cnnCol1"]/a')
    for p_name in player_names:
        l = XPathItemLoader(item=MlbItem(), selector=p_name )
        l.add_xpath('name', 'text()')
        yield l.load_item()

在 scrapy 命令行中，使用 --set FEED_URI=items.csv --set FEED_FORMAT=csv 。这会将您的姓名转储到 items.csv 文件中。无需编写您的 feed 导出器。您可以在相似的行上为团队名称建模 xpath