如何从本地数据文件中有效地流出实时图表

Question

在过去的几天里，Noob填写Noob捡起Nodejs，我遇到了很大的麻烦。我目前有一个工作节点JS+Express Server实例，该实例在Raspberry Pi上运行，充当本地数据采集脚本（“ DAQ”）的Web界面。执行后，脚本将数据写入PI上的本地文件，以.csv格式，每秒实时写出。

我的节点应用程序是一个简单的Web界面，可以在单击中启动数据采集脚本，并绘制先前获取的数据日志，并实时可视化积极收集的数据。绘制旧日志很简单，我编写了一个JS函数（使用Plotly + D3）通过AJAX调用读取本地CSV文件，然后绘制它 - 使用此脚本作为起点，但使用Express提供的日志而不是外部文件。

当我将其转换为实时图时，我开始使用SetInterval（）方法根据其他示例定期更新图表。处理了一些不需要的递归问题，并将间隔调整为更合理的设置之后，我消除了一两分钟后撞车崩溃的内存/流量问题，并且情况大多是稳定的。

但是，我主要需要一件事的帮助：

1. 提高我的第一次尝试方法的效率：绝对需要写入每秒的收购脚本，但是考虑到典型的运行可能持续1-2周，请求的文件大小。每个间隔循环都会迅速开始气球。我是Node/Express的新手，所以我敢肯定，有一种更好的方法可以做到这一点的实时渲染方面 - 这是真正的问题。任何更好的方法的指示都将非常有帮助！
2. 现在，“停止”按钮发出的killdaq（）调用杀死了基础的python进程，将数据写出到磁盘。有没有办法可以使用相同的按钮单击以还终止setInterval（）循环更新图形？停止数据采集后，无需再对其进行更新，因此单击单击“ Do Doble Duty”将是理想的。我认为设置侦听器或res/req方法是一种选择，但是朝着正确方向的指针非常有用。

（编辑：我解决了＃2，使用全局window。

window.refreshIntervalId = setInterval(foo);
...
clearInterval(window.refreshIntervalId);

>

。

MWE：

HTML（使用PUG用作模板引擎）：

doctype html
html
    body.default
        .container-fluid
          .row
            .col-md-5
              .row.text-center
                .col-md-6
                    button#start_button(type="button", onclick="makeCallToDAQ()") Start Acquisition
                .col-md-6
                    button#stop_button(type="button", onclick="killDAQ()") Stop Acquisition
            .col-md-7
                #myDAQDiv(style='width: 980px; height: 500px;')

JavaScript（start/stop aqeacisition）：

function makeCallToDAQ() {
    fetch('/start_daq', {
        // call to app to start the acquisition script
    })  
    .then(console.log(dateTime))
    .then(function(response) {
        console.log(response)
        setInterval(function(){ callPlotly(dateTime.concat('.csv')); }, 5000);
    });
}    
function killDAQ() {
    fetch('/stop_daq')
        // kills the process 
    .then(function(response) {
        // Use the response sent here
        alert('DAQ has stopped!')
    })
}

JavaScript（致电绘制绘图绘图）：

function callPlotly(filename) {
  var csv_filename = filename;
  console.log(csv_filename)

  function makeplot(csv_filename) {
    // Read data via AJAX call and grab header names
    var headerNames = [];
    d3.csv(csv_filename, function(error, data) {
      headerNames = d3.keys(data[0]);
      processData(data, headerNames)
    });
  };

  function processData(allRows, headerNames) {
    // Plot data from relevant columns
    var plotDiv = document.getElementById("plot");
    var traces = [{
      x: x,
      y: y
    }];

    Plotly.newPlot('myDAQDiv', traces, plotting_options);
  };
  makeplot(filename);  
}

node.js（实际节点应用程序）：

// Start the DAQ
app.use(express.json());
var isDaqRunning = true;
var pythonPID = 0;
const { spawn } = require('child_process')
var process;
app.post('/start_daq', function(req, res) {
  isDaqRunning = true;

    // Call the python script here.
    const process = spawn('python', ['../private/BIC_script.py', arg1, arg2])
    pythonPID = process.pid;
    process.stdout.on('data', (myData) => {
      res.send("Done!")
    })
    process.stderr.on('data', (myErr) => {
        // If anything gets written to stderr, it'll be in the myErr variable
      })
    res.status(200).send(); //.json(result);
})

// Stop the DAQ
app.get('/stop_daq', function(req, res) {
  isDaqRunning = false;
  process.on('close', (code, signal) => {
    console.log(
      `child process terminated due to receipt of signal ${signal}`);
  });

    // Send SIGTERM to process
    process.kill('SIGTERM');

    res.status(200).send();
})