是否可以将 .gzip 文件导入到 sqlite 中/导入时可以跳过某些列吗？

Question

我尝试使用 .import 但它似乎仅限于 csv 和分隔文件。可以导入gzip文件吗？或者至少，从命令行进行管道传输？

另外，我可以跳过一些不需要的列，例如 mysql“LOAD DATA INFILE”吗？

Answer 1

如果您不想使用命名管道，您还可以：

zcat $YOURFILE.gz | sqlite3 $YOURDB.sqlite ".import /dev/stdin $TABLENAME"

如果您需要在导入之前修改内容，您可以使用 perl （或 awk、sed，无论如何）在 zcat 和 sqlite 命令之间。

例如，如果您的文件已使用竖线字符作为分隔符，并且您只想导入第 0 至 3 列和第 5 至 6 列：

zcat $YOURFILE.gz | perl -F'\|' -anle 'print join("|", @F[0..3,5..6])' | sqlite3 $YOURDB.sqlite ".import /dev/stdin $TABLENAME"

Answer 2

$ mkfifo tempfile
$ zcat my_records.csv.gz > tempfile

这就像魔术一样！

虽然mkfifo确实创建临时文件，但该文件的大小为0字节。
运行此命令时 $ zcat my_records.csv.gz > tempfile，它将在命令提示符处停止。
这允许您运行

sqlite3> .import tempfile db_table

在 sqlite3 完成导入命名管道后，zcat 命令也将完成运行。然后您可以删除命名管道。

$ rm -f tempfile

Answer 3

zcat data.gz |\
  cat <(echo -e ".separator ','\n.import /dev/stdin dest_table") - |\
  sqlite3 db.sqlite

工作得很好（Linux）。

Answer 4

您可以创建命名管道。它的行为就像一个普通文件，但会即时解压缩。 SQLite对此一无所知。

事实证明，维基百科上的示例是使用 gzip 的。 http://en.wikipedia.org/wiki/Named_pipe

Answer 5

您可以为数据编写一个解析器，将其转换为一系列 SQL 语句。 Perl 是一种很好的语言。它甚至可以处理 gzip 文件。

您是否在 *Nix 操作系统中运行此程序？如果是这样，您可以创建一个临时文件来保存解压缩的数据：

tf="$(mktemp)" &&
zcat <my_records.csv.gz >"$tf"
sqlite3 /path/to/database.sqlite3 ".import $tf"
rm -f "$tf"