自动分割文件列表

Question

这是我在这里发表的第一篇文章，尽管我非常频繁地来这里寻求解决方案！ 我找不到我的问题的答案。也许我在搜索中使用了错误的标签：/无论如何，如果之前有人问过这个问题，请提前原谅我。

我想创建一个小脚本来自动从文件夹上传照片和视频。我目前使用一个名为“flickr_upload”的 Perl 脚本，可以在 macports 目录中找到。

假设一个目录中有 12 个文件。我想将这 12 个文件分成 3 批，每批 4 个文件，并使用 xterm 并行启动 3 个命令行。

如何通过指定批次数量自动拆分列表？

问候

编辑：而不是写：

flickr_upload photo01.jpg photo02.jpg photo03.jpg

我想要：

flickr_upload photo01.jpg
flickr_upload photo02.jpg
flickr_upload photo03.jpg

通过写类似的东西：

split -n 3 ./*.jpg | xterm flickr_upload -

Answer 1

xargs 可以为您做到这一点。

例如，seq 10 | xargs echo 一次回显所有 10 个“参数”。但是 seq 10 | xargs -n 3 echo 一次执行 3 个：

1 2 3
4 5 6
7 8 9
10

我不知道有关 flickr_upload 或“macports”可能是什么的任何信息，但想必您可以执行以下

操作： ls *jpg | xargs -n 3 echo 一次执行 3 个： xargs -n 3 flickr_upload

Answer 2

如果您安装了 GNU Parallel http://www.gnu.org/software/parallel/您不需要计算 modulo+1：

seq 100 | parallel -X -j 3 echo

如果您只想并行上传 3 个（其中 3 个始终运行）：

seq 100 | parallel -j 3 echo

您只需通过以下方式安装 GNU Parallel：

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

观看 GNU Parallel 的介绍视频以了解更多信息：
https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Answer 3

xargs 可以运行多个线程：

cat list_of_files | xargs --max-procs 6 -I {} upload_file {}

以下是分桶的完成方式：

seq 1 10 | xargs -I {} bash -c "echo {} >> bucket_\$((\$RANDOM % 4))"
head bucket_*
seq 0 3 | xargs -I {}  rm bucket_{}