删除从输入文件到 Spring Batch 程序的所有行中的尾随空格

Question

我有一个 Spring Batch 程序，它从文件读取并写入数据库。

数据由 || 分隔（双管道）并且行尾没有分隔符。

one||two||three||four
foo||bar||foo1||bar1

问题是每行的末尾在行尾字符之前有数百个尾随空格。

使用 ctrl + Q，我在文本板中显示：

one||two||three||four.......................................
foo||bar||foo1||bar1...............
car||bike||tango||charlie..........................

这是在 ItemReader (org.springframework.batch.item.file.FlatFileItemReader) 中的每一行抛出解析错误

我无法手动删除空格并需要一些自动化，以便在文件之前由 spring 批处理程序读取，空格消失了。

如何做到这一点？

注意：仅当我在 unix 服务器上运行程序时才会出现该错误。它不会发生在 Windows 上。

<beans:bean id="myBufferedReaderFactory" class="com.mypackage.MyBufferedReaderFactory"/>

<beans:bean id="FileToDBItemReader" class="org.springframework.batch.item.file.FlatFileItemReader">
                 <beans:property name="BufferedReaderFactory" ref="myBufferedReaderFactory"/>
        <beans:property name="resource" ref="MyInputFileResource" />
        <beans:property name="lineMapper">
            <beans:bean class="org.springframework.batch.item.file.mapping.DefaultLineMapper">
                <beans:property name="lineTokenizer">
                    <beans:bean class="com.mypackage.MyCustomLineTokenizer">
                        <beans:property name="delimiter" value="||"/>
                        <beans:property name="names" value="one,two,three,four" />
                    </beans:bean>
                </beans:property>
                <beans:property name="fieldSetMapper">
                    <beans:bean class="com.mypackage.MyFieldSetMapper" />
                </beans:property>
            </beans:bean>
        </beans:property>
    </beans:bean>

进步了一点。但仍然没有找到答案。

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;

import org.springframework.batch.item.file.BufferedReaderFactory;
import org.springframework.core.io.Resource;


public class MyBufferedReaderFactory implements BufferedReaderFactory {


    public BufferedReader create(final Resource resource, final String encoding) throws UnsupportedEncodingException, IOException {

        InputStream sourceStream = null;
        sourceStream = resource.getInputStream();

        //code to remove trailing spaces end

        //code to remove trailing spaces start

        return new BufferedReader(new InputStreamReader(sourceStream, encoding));

    }

}

如何使用上面类中的 InputStream 对象删除尾随空格？ 感谢您的阅读！

Answer 1

通过实现 BufferedReaderFactory 来扩展 BufferedReader 并向读取器添加行修剪功能。请参阅FlatFileItemReader.setBufferedReaderFactory()。

public class LineTrimmingBufferedReader extends BufferedReader
{
    public LineTrimmingBufferedReader(Reader in)
    {
        super(in);
    }

    @Override
    public String readLine() throws IOException
    {
        String result = super.readLine();
        return result != null ? result.trim() : null;
    }
}

如果 String.trim() 不可接受，请对行进行适当的尾部空格修剪。

Answer 2

代码如下：

BufferedReader reader = ....
String line = null;

while((line = reader.readLine()) != null) {
    line = line.replaceAll("\\s*$");
    // do what you need with the line
}

如果您有一些自动过程读取文件并将所有内容插入数据库，并且您无法修改该过程，请创建读取文件并删除尾随空格（如上所示）并将修剪后的行写入其他文件的代码。这个其他文件可以作为数据库导入过程的输入。

顺便说一句，如果你使用的是 Linux，你可以直接说：

cat myfile.txt | sed 's/ *$//' > mytrimmedfile.txt

（可能您必须在此语句中转义 *）

Answer 3

另一个解决方案。将配置中的 DefaultLineMapper 替换为以下自定义类 DefaultTrimmingLineMapper。

public class DefaultTrimmingLineMapper<T> extends DefaultLineMapper<T> {

    /** 
     * Trims the line before passing it to the {@link DefaultLineMapper}.
     * 
     * @see org.springframework.batch.item.file.mapping.DefaultLineMapper#mapLine(java.lang.String, int)
     */
    @Override
    public T mapLine(String line, int lineNumber) throws Exception {
        return super.mapLine(line!=null?line.trim():null, lineNumber);
    }
}