websocket内存管理

Question

我是 websockets 的新手，正在通过 Coinbase websocket 提取一些数据，在每条消息中我都会将其附加到内存中的 pandas df 中（我知道这是不好的做法，只是想获得一个工作版本）。我每分钟都会将此 df 上传到 TimescaleDB 并清除 df 中的旧数据。

我注意到，有时我无法上传 df，因此我没有清除 df 的旧值，最终 df 消耗了所有内存。

这是websocket的一个特性吗？或者我的调度程序出问题了？

这是我的调度程序供参考 -

while True
       nowtime = datetime.now()
        floornow = pd.Timestamp(nowtime).floor(freq='1S')
        candlefloor = floornow.floor(freq=f'{candle_len}T')
        if (floornow == candlefloor):
            try: 
                upload_timescale()

                if (candlefloor != 'last datetime'):
                    timetowait = candle_len*60-(datetime.now() - candlefloor).total_seconds()-0.05
                    time.sleep(timetowait)

            except: 
                raise ValueError('bug in uploading to timescaledb')

         
        else:
            tts = candle_len*60-(nowtime - candlefloor).total_seconds() 
            if (tts > 2):
                time.sleep(tts)

在清理之前，我需要间歇性地存储 websocket 数据以进行处理，处理该用例的最佳方法是什么？

谢谢！