使用线程特定的预分配数据并行运行任务

Question

我想并行运行一些任务。每个任务都使用堆分配的数据。为了加快速度，我希望每个线程重新使用相同的数据，而不是取消分配它并在之后重新分配它。可行吗？

这是我想要做的一个基本示例：

use rayon::prelude::*;
use std::collections::HashMap;

fn main() {
    // Data for the tasks to run in parallel.
    let tasks: Vec<_> = (0..1000).collect();

    let task_results: Vec<_> = tasks
        .par_iter()
        .map(|task| {
            // Allocate heap-allocated data.
            let data: HashMap<usize, usize> = HashMap::with_capacity(1024);
            // Do something the heap-allocated data and the task.
            // Drop the heap-allocated data and return the result from the task.
            task * 2
        })
        .collect();
}

每个任务都使用 HashMap 进行计算。任务完成后，HashMap 将被删除。我怎样才能做到这一点，以便每个线程使用一个在运行新任务之前被清除的HashMap？

Answer 1

您可以使用 map_with< /a> 创建一个 HashMap ，它将为每个线程克隆一次，然后传递给您的闭包：

use rayon::prelude::*;
use std::collections::HashMap;

fn main() {
    // Data for the tasks to run in parallel.
    let tasks: Vec<_> = (0..10).collect();

    let task_results: Vec<_> = tasks
        .par_iter()
        .map_with(
            HashMap::<usize, usize>::with_capacity(1024),
            |data, task| {
                // Clear the data for this run
                data.clear();
                // Do something the heap-allocated data and the task.
                task * 2
            },
        )
        .collect();

    println!("{:?}", task_results);
}

游乐场