informix数据库千万级分页性能如何优化

Question

我在做一个功能时需要批量读取数据库中的数据，就涉及到数据库的分页功能，但是当数据量越大时分页语句越到后面越慢，请问该如何优化？

//批量获取数据函数
//当‘start’越大时性能越低，sql语句改如何优化
 private List<Object[]> getData(String tableName,String iden_code,String startTime,String endTime,int start){
        endTime = "to_date('"+endTime+"','%Y-%m-%d')";
        startTime = "to_date('"+startTime+"','%Y-%m-%d')";

        String sql ="select skip "+start+" first "+persize+" "+iden_code+" from "+tableName+" " +
                "where s_ext_timestamp >= "+startTime+" and s_ext_timestamp <= "+endTime;
        //System.out.println(sql);
        List<Object[]> list = frDao.query(sql);
        System.out.println(tableName+" 表本批数据共有 "+list.size()+" 条！");
        return list;
    }

Answer 1

我们可以换一种思路解决问题,informix skip 分页语句根据服务器性能所表现出来的效率各有不同，当persize越大时，即每次查询数据越大，所需时间越长。在没有找到如何优化skip语句时，我们可以不去理会sql查询的时间问题。我现在将persize设置为每次查询200000数据，所需时间十几秒。重要的是程序处理20万数据的效率加快就可以了，可以使用多线程等技术。这样比以前查询加处理200000数据的时间要少得多！