如何有效地搜索/替换大型txt文件？

Question

我有一个相对较大的 csv/文本数据文件 (33mb)，我需要对其进行全局搜索并替换定界字符。 （原因是似乎没有办法让 SQLServer 在表导出期间转义/处理数据中的双引号，但那是另一个故事......）

我成功完成了 Textmate 搜索并替换为较小的文件，但是这个更大的文件令人窒息。

看起来命令行 grep 可能是答案，但我不太掌握语法，唉：

grep -rl OLDSTRING . | xargs perl -pi~ -e ‘s/OLDSTRING/NEWSTRING/’

所以在我的例子中，我正在搜索 '^' （插入符号）字符并替换为 '"' （双引号） ）

grep -rl " grep_test.txt | xargs perl -pi~ -e 's/"/^'

这不起作用，我假设它与双引号或其他东西的转义有关，但我很迷茫。

（我想如果有人知道如何让 SQLServer2005 处理的 话）。导出到 csv 期间文本列中的双引号，这确实解决了核心问题。）

Answer 1

你的 perl 替换似乎是错误的。尝试：

grep -rl \" . | xargs perl -pi~ -e 's/\^/"/g'

说明：

grep : command to find matches
-r : to recursively search
-l : to print only the file names where match is found
\" : we need to escape " as its a shell meta char
. : do the search in current working dir
perl : used here to do the inplace replacement
-i~ : to do the replacement inplace and create a backup file with extension ~
-p : to print each line after replacement
-e : one line program
\^ : we need to escape caret as its a regex meta char to mean start anchor

Answer 2

sed -i.bak 's/\^/"/g' mylargefile.csv

更新：您也可以按照 Rein 的建议使用 Perl

perl -i.bak -pe 's/\^/"/g' mylargefile.csv

但在大文件上，sed 可能比 Perl 运行得快一点，正如我的结果在 600 万行文件上显示的那样

$ tail -4 file
this is a line with ^
this is a line with ^
this is a line with ^

$ wc -l<file
6136650

$ time sed 's/\^/"/g' file  >/dev/null

real    0m14.210s
user    0m12.986s
sys     0m0.323s
$ time perl  -pe 's/\^/"/g' file >/dev/null

real    0m23.993s
user    0m22.608s
sys     0m0.630s
$ time sed 's/\^/"/g' file  >/dev/null

real    0m13.598s
user    0m12.680s
sys     0m0.362s

$ time perl  -pe 's/\^/"/g' file >/dev/null

real    0m23.690s
user    0m22.502s
sys     0m0.393s