将大量文件分发到较小组的脚本

Question

我的文件夹包含大量不同大小的文件（例如 1000 个以上），我想将它们移至较小的组中，例如每个文件夹 100 个文件。

我编写了一个 Apple 脚本，该脚本对文件进行计数，创建一个编号的子文件夹，然后将 100 个文件移动到新文件夹（可以指定文件数量），该脚本循环直到移动到的文件数量少于指定数量它创建的最后一个文件夹。

问题是它运行速度慢得可怕。我正在寻找可以在我的 MacBook 和/或 Linux 机器上运行的 Apple 脚本或 shell 脚本，这将有效地将文件移动到更小的组中。

文件如何分组并不是特别重要，我只是希望每个文件夹中的文件更少。

Answer 1

这应该可以帮助您开始：

DIR=$1
BATCH_SIZE=$2
SUBFOLDER_NAME=$3
COUNTER=1

while [ `find $DIR -maxdepth 1 -type f| wc -l` -gt $BATCH_SIZE ] ; do
  NEW_DIR=$DIR/${SUBFOLDER_NAME}${COUNTER}
  mkdir $NEW_DIR
  find $DIR -maxdepth 1 -type f | head -n $BATCH_SIZE | xargs -I {} mv {} $NEW_DIR
  let COUNTER++
if [ `find $DIR -maxdepth 1 -type f| wc -l` -le $BATCH_SIZE ] ; then
  mkdir $NEW_DIR
  find $DIR -maxdepth 1 -type f | head -n $BATCH_SIZE | xargs -I {} mv {} $NEW_DIR
fi
done

嵌套的 if 语句获取最后剩余的文件。修改供您使用后，您可以根据需要添加一些额外的检查。

Answer 2

这是一个巨大的混乱，但它不应该太慢：

rm /tmp/counter*
touch /tmp/counter1
find /source/dir -type f -print0 | 
    xargs -0 -n 100 \
        sh -c 'n=$(echo /tmp/counter*); \
               n=${n#/tmp/counter}; \
               counter="/tmp/counter$n"; \
               mv "$counter" "/tmp/counter$((n+1))"; \
               mkdir "/dest/dir/$n"; \
               mv "$@" "/dest/dir/$n"' _

它完全不区分哪些文件去哪里。

Answer 3

解决目录中文件过多问题的最常见方法是按名称的前几个字符进行细分。例如：

之前：

aardvark
apple
architect
...
zebra
zork

之后：

a/aardvark
a/apple
a/architect
b/...
...
z/zebra
z/zork

如果细分得不够好，则更进一步：

a/aa/aardvark
a/ap/apple
a/ar/architect
...
z/ze/zebra
z/zo/zork

这应该可以很快完成，因为脚本执行的移动命令可以使用简单的 glob 扩展来选择要移动的所有文件，ala mv aa* a/aa，而不是必须在每个文件上单独运行移动命令（这将是我对原始脚本为何缓慢的第一个猜测）