在bash中处理二进制数据文件，查找大于某个数字的元素

发布于 2024-10-06 02:24:10 字数 425 浏览 6 评论 0原文

我处理不同的二进制数据。大多数情况下，这些都是经过签名的 16 位流。使用 hexdump，它看起来像：

...
2150     -191    -262    15      -344    -883    -820    -1038   -780
-1234   -1406   -693    131     433     396     241     600     1280
...

我只想查看数据流中大于或小于某个阈值的那些元素（数据是二进制有符号的 16 位）。它可能看起来像：

cat data.pcm | $($here_some_filtering) 2100 -2100

其中输出必须只给出大于 2100 且小于 -2100 的元素。有没有简单的命令行方法可以做到这一点？

原文

I process different binary data. Mostly, these are signed 16-bit streams. With hexdump, it looks like:

...
2150     -191    -262    15      -344    -883    -820    -1038   -780
-1234   -1406   -693    131     433     396     241     600     1280
...

I would like to see only those elements of a data stream, which are greater than or less than some threshold (data is binary signed 16-bit). It could look like:

cat data.pcm | $($here_some_filtering) 2100 -2100

where output must give me only elements which are greater than 2100 and less than -2100. Is there any simple command-line method how to do it?

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

萌梦深 2024-10-13 02:24:10

$ cat pcm
2150     -191    -262    15      -344    -883    -820    -1038   -780
-1234   -1406   -693    131     433     396     241     600     1280

$ for num in $(< pcm); do ((num > 2100 || num < -2100)) && echo $num; done
2150

$ cat pcm
2150     -191    -262    15      -344    -883    -820    -1038   -780
-1234   -1406   -693    131     433     396     241     600     1280

$ for num in $(< pcm); do ((num > 2100 || num < -2100)) && echo $num; done
2150

回复收藏 0 原文

音盲 2024-10-13 02:24:10

对此的一个衬里将是这样的：

for c in `cat data.pcm`; do if [ $c -lt -2100 -o $c -gt 2100 ]; then echo $c; fi; done

One liner for this would be something like:

for c in `cat data.pcm`; do if [ $c -lt -2100 -o $c -gt 2100 ]; then echo $c; fi; done

回复收藏 0 原文

方圜几里 2024-10-13 02:24:10

好吧，二进制...个人建议：不要使用普通的旧 shell - 使用适合该工作的工具。 Perl、Python，甚至 C/C++ 程序 - 其中大部分都是单行代码。

下面是一个未经优化的 hack，可以给你一个想法：

#!/bin/bash
lowerlimit=-333;
upperlimit=333;
filesize=`wc -c "$1" | cut -d' ' -f1`;

off=0;
while [ $off -lt $filesize ]; do
    shortval=$(od -An -s -N 2 -j $off "$1")
    test $shortval -gt $lowerlimit &&
    test $shortval -lt $upperlimit &&
    dd if="$1" bs=1 count=2 skip=$off 2>/dev/null
    off=$(($off + 2))
done

我不确定这是否可以通过简单的方式进行管道传输，因为 shell 使用行分隔符来分割输入块。

Well, binary ... personal suggestion: Do not use plain old shell - use a tool fit for the job. Perl, Python, even a C/C++ program - it'll be mostly one-liners in those.

The following is an unoptimized hack to give you an idea:

#!/bin/bash
lowerlimit=-333;
upperlimit=333;
filesize=`wc -c "$1" | cut -d' ' -f1`;

off=0;
while [ $off -lt $filesize ]; do
    shortval=$(od -An -s -N 2 -j $off "$1")
    test $shortval -gt $lowerlimit &&
    test $shortval -lt $upperlimit &&
    dd if="$1" bs=1 count=2 skip=$off 2>/dev/null
    off=$(($off + 2))
done

I'm not sure this can be made pipe-able in an easy way because of the fact that the shell uses line separators to split input blocks.

回复收藏 0 原文

十秒萌定你 2024-10-13 02:24:10

Bash 可以处理二进制数据。

getbyte () {
    local IFS= LC_CTYPE=C res c
    read -r -d '' -n 1 c
    res=$?
    # the single quote in the argument of the printf 
    # yields the numeric value of $c (ASCII since LC_CTYPE=C)
    [[ -n $c ]] && c=$(printf '%d' "'$c") || c=0
    printf "$c"
    return $res
}

filter () {
    local b1 b2 val
    while b1=$(getbyte)
    do
        b2=$(getbyte)
        (( val = b2 * 256 + b1 ))
        (( val = val > 32767 ? val - 65536 : val ))
        if (( val > ${1:-0} || val < ${2:-0} ))
        then
            echo $val
        fi
    done
}

示例（数据有意具有奇数个字节，以表明该函数适应此条件）：

$ data='\0\01\010\0377\0377\0100\0300\0200\0333'
$ echo -en "$data" | filter
256
-248
16639
-32576
219
$ echo -en "$data" | filter 222 -333
256
16639
-32576

那么您的命令将是：

filter 2100 -2100 < data.pcm

Bash can be made to deal with binary data.

getbyte () {
    local IFS= LC_CTYPE=C res c
    read -r -d '' -n 1 c
    res=$?
    # the single quote in the argument of the printf 
    # yields the numeric value of $c (ASCII since LC_CTYPE=C)
    [[ -n $c ]] && c=$(printf '%d' "'$c") || c=0
    printf "$c"
    return $res
}

filter () {
    local b1 b2 val
    while b1=$(getbyte)
    do
        b2=$(getbyte)
        (( val = b2 * 256 + b1 ))
        (( val = val > 32767 ? val - 65536 : val ))
        if (( val > ${1:-0} || val < ${2:-0} ))
        then
            echo $val
        fi
    done
}

Examples (the data has an odd number of bytes intentionally to show that the function accommodates this condition):

$ data='\0\01\010\0377\0377\0100\0300\0200\0333'
$ echo -en "$data" | filter
256
-248
16639
-32576
219
$ echo -en "$data" | filter 222 -333
256
16639
-32576

Your command would then be:

filter 2100 -2100 < data.pcm

回复收藏 0 原文

℡Ms空城旧梦 2024-10-13 02:24:10

每当我想从二进制文件中提取数值时，我都会使用 od（八进制转储）。它有许多用于提取字符、整数（8、16、32 和 64 位）和浮点数（32 和 64 位）的选项。您还可以指定您要查找的精确值的偏移量。

要了解更多信息，请输入：

man od

然后，在 bash 中对 od 输出进行过滤应该不会很复杂。

Whenever I want to extract numerical values from a binary file, I use od (octal dump). It has many options for extracting characters, integers (8, 16, 32 and 64 bits) and floats (32 and 64 bits). You can also specify an offset to the exact value that you are looking for.

For learning more about it, type: