使用人造丝处理并行文件处理

Question

我的本地源文件夹中有 7 个 CSV 文件（每个 55 MB），我想将其转换为 JSON 格式并存储到本地文件夹中。我的操作系统是 MacOS（四核 Intel i5）。 基本上，它是一个简单的 Rust 程序，从控制台运行，因为

./target/release/convert <source-folder> <target-folder>

我使用 Rust 线​​程的多线程方法很糟糕，

fn main() -> Result<()> {
    let source_dir = PathBuf::from(get_first_arg()?);
    let target_dir = PathBuf::from(get_second_arg()?);

    let paths = get_file_paths(&source_dir)?;

    let mut handles = vec![];
    for source_path in paths {
        let target_path = create_target_file_path(&source_path, &target_dir)?;

        handles.push(thread::spawn(move || {
            let _ = convert(&source_path, &target_path);
        }));
    }

    for h in handles {
        let _ = h.join();
    }

    Ok(())
}

我使用 time 运行它来测量 CPU 利用率，

2.93s user 0.55s system 316% cpu 1.098 total

然后我尝试实现相同的任务使用rayon（线程池）板条箱：

fn main() -> Result<()> {
    let source_dir = PathBuf::from(get_first_arg()?);
    let target_dir = PathBuf::from(get_second_arg()?);

    let paths = get_file_paths(&source_dir)?;
    let pool = rayon::ThreadPoolBuilder::new().num_threads(15).build()?;

    for source_path in paths {
        let target_path = create_target_file_path(&source_path, &target_dir)?;

        pool.install(|| {
            let _ = convert(&source_path, &target_path);
        });
    }

    Ok(())
}

我使用time运行它来测量CPU利用率，这使得

2.97s user 0.53s system 98% cpu 3.561 total

我在使用rayon时看不到任何改进。我可能以错误的方式使用人造丝。 有谁知道它有什么问题吗？

更新（4 月 9 日）

经过一段时间与 Rust 检查器的斗争

Answer 1

rayon install 的文档不是超级清楚，但签名：

pub fn install<OP, R>(&self, op: OP) -> R where
    R: Send,
    OP: FnOnce() -> R + Send, 

表示它返回类型R。与您的闭包返回的类型 R 相同。所以显然 install() 必须等待结果。

仅当闭包产生额外任务时，这才有意义，例如通过在闭包内使用 .par_iter() 。我建议直接使用 rayon 的 并行迭代器 （而不是你的 for 循环）遍历文件列表。您甚至不需要创建自己的线程池，默认池通常就可以了。

如果您坚持手动执行此操作，则必须使用 spawn() 而不是 install。并且您可能必须将循环移至传递给 范围（）。