参数列表太长 - Unix

Question

该脚本将按日期对文件进行排序，然后将前 2500 个文件移动到另一个目录。
当我运行下面的脚本时，系统提示 Argument list too long msg。任何人都可以帮助我增强脚本吗？谢谢

NUM_OF_FILES=2500
FROM_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in
DESTINATION_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in_load

if [ ! -d $DESTINATION_DIRECTORY ]  
        then  
                echo "unused_file directory does not exist!"  
        mkdir $DESTINATION_DIRECTORY   
        echo "$DESTINATION_DIRECTORY directory created!"  
else   
        echo "$DESTINATION_DIRECTORY exist!"    
fi  


echo "Moving $NUM_OF_FILES oldest files to $DESTINATION_DIRECTORY directory"  

ls -tr  $FROM_DIRECTORY/MSCERC*.Z|head -$NUM_OF_FILES |
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY"  

Answer 1

你没有说，但我认为这就是问题发生的地方：（

ls -tr  $FROM_DIRECTORY/MSCERC*.Z|head -2500 | \
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY"  

你可以通过在脚本顶部添加“set -x”来验证它。）

问题是内核有一个固定的最大大小给新进程的命令行长度，并且超过了 ls 命令中的长度。您可以通过不使用通配符而使用 grep 来解决这个问题：（

ls -tr  $FROM_DIRECTORY/ | grep '/MSCERC\*\.Z
 grep 使用正则表达式而不是通配符，因此模式看起来有点不同。）
 |head -2500 | \
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY"  

grep 使用正则表达式而不是通配符，因此模式看起来有点不同。）

Answer 2

更改

ls -tr  $FROM_DIRECTORY/MSCERC*.Z|head -2500 | \
    xargs -i sh -c "mv {} $DESTINATION_DIRECTORY"  

执行如下操作：

find "$FROM_DIRECTORY" -maxdepth 1 -type f -name 'MSCERC*.Z' -printf '%p\t%T@\n' | sort -k2,2 -r | cut -f1 | head -$NUM_OF_FILES | xargs mv -t "$DESTINATION_DIRECTORY"

这使用 find 创建带有修改时间戳的文件列表，按时间戳排序，然后在将输出传递到 head 和 xargs

编辑

另一种变体，应该与非 GNU utils 一起使用

find "$FROM_DIRECTORY" -type f -name 'MSCERC*.Z' -printf '%p\t%T@' |sort -k 2,2 -r | cut -f1 | head -$NUM_OF_FILES | xargs -i mv \{\} "$DESTINATION_DIRECTORY"

Answer 3

首先创建要处理的文件的备份列表。然后逐行读取备份文件并修复它。例如

 #!/bin/bash
 NUM_OF_FILES=2500
 FROM_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in
 DESTINATION_DIRECTORY=/apps/data01/RAID/RC/MD/IN_MSC/ERC/in_load

 if [ ! -d $DESTINATION_DIRECTORY ]  
    then  
            echo "unused_file directory does not exist!"  
    mkdir $DESTINATION_DIRECTORY   
    echo "$DESTINATION_DIRECTORY directory created!"  
  else   
    echo "$DESTINATION_DIRECTORY exist!"    
 fi  

 echo "Moving $NUM_OF_FILES oldest files to $DESTINATION_DIRECTORY directory" 

 ls -tr  $FROM_DIRECTORY/MSCERC*.Z|head -2500 > list
 exec 3<list

 while read file <&3
 do
    mv $file $DESTINATION_DIRECTORY
 done

Answer 4

解决此问题的快速方法是更改​​为 $FROM_DIRECTORY，以便您可以使用（较短的）相对路径引用文件。

cd $FROM_DIRECTORY &&
ls -tr MSCERC*.Z|head -2500 |xargs -i sh -c "mv {} $DESTINATION_DIRECTORY"

如果您有太多匹配的文件，这也不是完全万无一失的。