TensorFlow.js 预测时间是第一次试验和后续试验之间的差异

Question

我正在测试加载 TensorFlow.js 模型并尝试测量预测需要多少毫秒。例如，第一次需要大约 300 毫秒来预测值，但第二次则时间减少到 13~20 毫秒。我不是根据模型加载来计算时间。我只计算加载模型后的预测值。

谁能解释为什么预测价值的时间减少了？

// Calling TensorFlow.js model
const MODEL_URL = 'https://xxxx-xxxx-xxxx.xxx.xxx-xxxx-x.xxxxxx.com/model.json'
let model;
let prediction;
export async function getModel(input){
  console.log("From helper function: Model is being retrieved from the server...")
  model = await tf.loadLayersModel(MODEL_URL);

  // measure prediction time
  var str_time = new Date().getTime(); 
  prediction = await model.predict(input)
  var elapsed = new Date().getTime() - str_time;
  console.log("Laoding Time for Tensorflow: " + elapsed)        
    
  console.log(prediction.arraySync())
  ...
}

Answer 1

通常，第一次预测会花费更长的时间，因为需要从 API 请求将模型加载到内存中，一旦完成，它将被缓存，您不需要再次发出相同的 API 请求。

如果您想查看实际的预测时间，请多次重复预测计时的过程（可能是 1000 次），然后获取第 99 个分位数值，该值将显示 99% 的情况的预测时间（您可以更改分位数值）以及 90 或 50）。