ksh脚本优化

Question

我有一个小脚本，它只需读取文件的每一行，检索 id 字段，运行实用程序来获取名称并将名称附加在末尾。问题是输入文件很大（2GB）。由于输出与附加了 10-30 个字符名称的输入相同，因此具有相同的数量级。如何优化它以读取大缓冲区，在缓冲区中进行处理，然后将缓冲区写入文件，从而最大限度地减少文件访问次数？

#!/bin/ksh
while read line
do
    id=`echo ${line}|cut -d',' -f 3`

    NAME=$(id2name ${id} | cut -d':' -f 4)

    if [[ $? -ne 0 ]]; then
        NAME="ERROR"
        echo "Error getting name from id2name for id: ${id}"
    fi

    echo "${line},\"${NAME}\"" >> ${MYFILE}
done < ${MYFILE}.csv

谢谢

Answer 1

通过消除循环每次迭代中对 cut 的两次调用，您可以大大加快速度。将输出文件的重定向移至循环末尾也可能会更快。由于您没有显示输入行的示例，或者 id2name 的组成（可能是瓶颈）或其输出是什么样的，所以我只能提供这个近似值：

#!/bin/ksh
while IFS=, read -r field1 field2 id remainder   # use appropriate var names
do
    line=$field1,$field2,$id,$remainder
    # warning - reused variables
    IFS=: read -r field1 field2 field3 NAME remainder <<< $(id2name "$id")
    if [[ $? -ne 0 ]]; then
        NAME="ERROR"
        # if you want this message to go to stderr instead of being included in the output file include the >&2 as I've done here
        echo "Error getting name from id2name for id: ${id}" >&2  
    fi
    echo "${line},\"${NAME}\""
done < "${MYFILE}.csv" > "${MYFILE}"

操作系统会做为您提供缓冲。

编辑：

如果您的 ksh 版本没有 <<<，请尝试以下操作：（

    id2name "$id" | IFS=: read -r field1 field2 field3 NAME remainder

如果您使用的是 Bash，则此操作不起作用。）