Hadoop 序列文件中的压缩

Question

我有一些关于 hadoop 顺序文件的基本问题。

1）默认压缩编解码器将文件压缩到什么程度？

2）当我读取该文件并将其内容转储到文本文件时，我有 100 MB 的 hadoop 序列文件，我观察到的文本文件大小约为 1GB（可以吗？）

3）在读取序列文件时 < 的意义是什么强>“syncSeen()”和 “寻求（多头头寸）” ？如果我在阅读时不使用这些调用会有什么问题吗？ 有关于如何使用这些方法的例子吗？

Answer 1

SequenceFile.Reader#seek 将把读取器定位在 SequenceFile 中的给定点。

根据 Hadoop：权威指南

同步点是流中的一个点，如果读取器“丢失”，例如在查找流中的任意位置之后，可用于与记录边界重新同步。同步点由 SequenceFile.Writer 记录，在写入序列文件时，它每隔几条记录插入一个特殊条目来标记同步点。此类条目足够小，仅会产生适度的存储开销 — 不到 1%。同步点始终与记录边界对齐。

SequenceFile.Reader#syncseen 将告知读取 SequenceFile 时是否已通过同步标记。