如何在 Linux 中从 HTTP MIME 编码消息中提取文件数据？

Question

我有一个程序接受HTTP POST 文件并将所有POST 结果写入一个文件，我想编写一个脚本来删除HTTP 标头，只保留二进制文件数据，该怎么做？

文件内容如下（Content-Type: application/octet-stream和------------KM7cH2GI3cH2Ef1Ij5gL6GI3Ij5GI3之间的数据是我想要的:

POST /?user_name=vvvvvvvv&size=837&file_name=logo.gif& HTTP/1.1^M
Accept: text/*^M
Content-Type: multipart/form-data; boundary=----------KM7cH2GI3cH2Ef1Ij5gL6GI3Ij5GI3^M
User-Agent: Shockwave Flash^M
Host: 192.168.0.198:9998^M
Content-Length: 1251^M
Connection: Keep-Alive^M
Cache-Control: no-cache^M
Cookie: cb_fullname=ddddddd; cb_user_name=cdc^M
^M
------------KM7cH2GI3cH2Ef1Ij5gL6GI3Ij5GI3^M
Content-Disposition: form-data; name="Filename"^M
^M
logo.gif^M
------------KM7cH2GI3cH2Ef1Ij5gL6GI3Ij5GI3^M
Content-Disposition: form-data; name="Filedata"; filename="logo.gif"^M
Content-Type: application/octet-stream^M
^M
GIF89an^@I^^M
------------KM7cH2GI3cH2Ef1Ij5gL6GI3Ij5GI3^M
Content-Disposition: form-data; name="Upload"^M
^M
Submit Query^M
------------KM7cH2GI3cH2Ef1Ij5gL6GI3Ij5GI3-

Answer 1

您想在文件结束时执行此操作，还是在文件结束后执行此操作？

几乎任何脚本语言都应该可以工作。我的 AWK 有点生疏，但是...

awk '/^Content-Type: application\/octet-stream/,/^--------/'

应该打印 application/octet-stream 和 ---------- 行之间的所有内容。它还可能包含这两行，这意味着您必须做一些更复杂的事情：

BEGIN {state = 0}
{
    if ($0 ~ /^------------/) {
        state = 0;
    }
    if (state == 1) {
        print $0
    }
    if ($0 ~ /^Content-Type: application\/octet-stream/) {
        state = 1;
    }
}

application\/octet-stream 行位于 print 语句之后，因为您想要设置 当您看到 application/octet-stream 后，将 state 更改为 1。

当然，作为 Unix，您可以通过 awk 通过管道输出程序的输出，然后保存文件。

Answer 2

如果您使用 Python，email.parser.Parser将允许您解析多部分 MIME 文档。

Answer 3

这可能是一个疯狂的想法，但我会尝试用 procmail 剥离标头。

Answer 4

查看 Perl 的 Mime::Tools 套件。拥有丰富的课程；我确信您可以用几行代码将一些内容组合在一起。

Answer 5

这可能包含一些拼写错误或其他内容，但无论如何请耐心等待。首先确定边界（如果需要，input 是包含数据 - 管道的文件）：

boundary=`grep '^Content-Type: multipart/form-data; boundary=' input|sed 's/.*boundary=//'`

然后过滤 Filedata 部分：

fd='Content-Disposition: form-data; name="Filedata"'
sed -n "/$fd/,/$boundary/p"

最后一部分是过滤一些额外的行 - 标题行在空行和边界本身之前并包括空行和边界本身，因此将最后一行从上一行更改为：

sed -n "/$fd/,/$boundary/p" | sed '1,/^$/d' | sed '$d'

• sed -n "/$fd/,/$boundary/p" 过滤 之间的行Filedata 标头和边界（包括），
• sed '1,/^$/d' 正在删除第一行（包括第一行）之前的所有内容（因此删除标头）和
• sed '$d' 删除最后一行（边界）。

之后，您等待丹尼斯（请参阅评论）对其进行优化，然后您会得到以下信息：

sed "1,/$fd/d;/^$/d;/$boundary/,$d"

既然您已经来到这里，请从头开始并执行伊格纳西奥建议的操作。原因 - 这可能无法（可靠地）工作，因为 GIF 是二进制数据。

啊，这是一次很好的锻炼！不管怎样，对于 sed 的爱好者来说，这是一个很棒的页面：

• http://sed .sourceforge.net/sed1line.txt

重要信息。