pyspider抓头条json不会传递数据。

Question

我用pyspider抓头条的json文件，每一页能获取下一页的链接和当前页的详情。但是存储速度很慢，因为每循环一次就执行一次插入mysql，请问怎么提高效率？另外，我想把数据return出去到on_result函数，不知道加到哪里？怎么传递数值。谢谢。
按照官方文档return一个字典list出去，循环就停止了，折腾了一天，没研究出来。

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 2017-11-04 17:44:17
# Project: TouTiaocomment

from pyspider.libs.base_handler import *
from fake_useragent import UserAgent
import time
import hashlib
from pyspider.database.mysql.selfmysqldb import SQL 
# from pyspider.result import ResultWorker


class Handler(BaseHandler):
    ua = UserAgent()
    crawl_config = {
        'headers': {'User-Agent': ua.random}
    }
    
    feed_url = 'https://www.toutiao.com/api/pc/feed/'
    sql=SQL()

    def getASCP(self):
        t = round(time.time())
        e = hex(t).upper()[2:]
        m = hashlib.md5()
        m.update(str(t).encode(encoding='utf-8'))
        i = m.hexdigest().upper()

        if len(e) != 8:
            AS = '479BB4B7254C150'
            CP = '7E0AC8874BB0985'
            return AS, CP

        n = i[0:5]
        a = i[-5:]
        s = ''
        r = ''
        for o in range(5):
            s += n[o] + e[o]
            r += e[o + 3] + a[o]

        AS = 'A1' + s + e[-3:]
        CP = e[0:3] + r + 'E1'
        return AS, CP
    

    @every(minutes=24 * 60)
    def on_start(self, maxtime=0):
        AS, CP = self.getASCP()
        
        payloads = {'max_behot_time': maxtime, 'category': '__all__','utm_source': 'toutiao', 'widen': 1, 'tadrequire': 'false', 'as': AS, 'cp': CP}
        self.crawl(self.feed_url, params=payloads,
                   callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
          rj=response.json
          for i in rj.get('data', None):
            if i.get('is_feed_ad') == False:
                result= {'title': i.get('title'), 'tags': i.get('chinese_tag'), 'comments': i.get('comments_count'),'url': 'https://www.toutiao.com'+i.get('source_url')}
                print(result)
                self.sql.insert('toutiaocomment', **result)
          
          if rj.get('next'):
            maxtime = rj.get('next').get('max_behot_time')
            AS, CP = self.getASCP()
            payloads = {'max_behot_time': maxtime, 'category': '__all__','utm_source': 'toutiao', 'widen': 1, 'tadrequire': 'false', 'as': AS, 'cp': CP}
            self.crawl(self.feed_url, params=payloads,callback=self.index_page)

Answer 1

你可以 yield， 这样每次 yield 都会调用一次 on_result。
不过注意你需要重载 on_result，默认行为会覆盖保存。

Answer 2

1.优化存储，你不需要每次循环都执行sql.insert,你在每次循环中先将数据收集起来。我不太清楚你的SQL是什么对象，但是python mysql客户端应该是支持一次插入多个数据的，直接一次插入你收集的数据应该可以加快效率

1. 你可以一次性将收集到的数据return 就会传递到on_result函数，也就是return你说的字典list