java教程

Java 向oracle插入百万数据(大量数据),不到5秒!

位置:首页 > java教程 > java技巧,2013-09-08
java自带的批量操作,就可以很好的支持大量数据的处理。相比c#,简单很多。c#要使用oracle提供的ODP.NET,效率才很高,但是代码却很复杂。总之,在这方面,c#没得比。当然,这里的表是没加索...

java自带的批量操作,就可以很好的支持大量数据的处理。相比c#,简单很多。c#要使用oracle提供的ODP.NET,效率才很高,但是代码却很复杂。总之,在这方面,c#没得比。当然,这里的表是没加索引的,加了索引,效率会变慢,但是还是很高效。

long startTime=System.currentTimeMillis();
        
        Connection conn=null;
        try{
            conn=getConnection();
            conn.setAutoCommit(false);
            
            PreparedStatement stmt=conn.prepareStatement("INSERT INTO product_tmp VALUES (?,?,?,?)");
            System.out.println("数据大小:"+datas.size());        //1000000

            int num=0;
            for(Values v:datas){
                num++;
                stmt.setInt(1, v.getId());
                stmt.setString(2, v.getStr1());
                stmt.setString(3, v.getStr2());
                stmt.setString(4, v.getStr3());
                stmt.addBatch();
                //注意: 每5万,提交一次;这里不能一次提交过多的数据,我测试了一下,6万5000是极限,6万6000就会出问题,插入的数据量不对。
                if(num>50000){
                    stmt.executeBatch();
                    conn.commit();
                    num=0;
                }
            }
            stmt.executeBatch();
            conn.commit();
        }catch(Exception e){
            conn.rollback();
            e.printStackTrace();
        }finally{
            closeConnection(conn);
            long endTime=System.currentTimeMillis();
            System.out.println("方法执行时间:"+(endTime-startTime)+"ms");
        }

TAGS:Java 向oracle插入数据

猜你喜欢

NewHot