之前一個數據校驗功能遇到嚴重性能瓶頸
插入數據居然需要22秒，優化後0.38秒
一個聯合join校驗需要42秒，優化後1.87秒
一個增刪改對比顯示union的sql需要49秒，優化後1.023秒
1、首先是batch的問題：
在本項目中，使用了org.springframework.jdbc.core.JdbcTemplate類作為數據庫鏈接服務。批量插入時，調用jdbcTemplate.batchUpdate方法進行批量插入，然而插入速度不盡如人意，非常緩慢。問題點在於，明明使用了batchUpdate而不是逐條插入，為何會出現插入緩慢的問題呢？
原來在鏈接MySQL的時候，並沒有設置自動合併多個insert的功能，導致還是變成了逐條插入。正確的方式是，修改MySQL鏈接參數，添加關鍵字段rewriteBatchedStatements=true，詳細如下：
jdbc:mysql://test_host:3306/test_schemas1?useUnicode=true&characterEncoding=utf-8&autoReconnect=true&rewriteBatchedStatements=true
添加這個rewriteBatchedStatements參數設置後，batch插入從原來的22秒變成了0.38秒，速度提升明顯。
2、接著是一個聯合join的校驗問題。
項目需求一個3表join，以左表為基準，進行2次連續的left join且附帶篩選條件。調優前運行緩慢，需要44秒。
原先採用一條sql解決所有問題，後改為首先用3條sql將3個表的最新記錄篩選下來，再用Map
調優後速度變為1.87秒
3、最後是個增刪改對比顯示的sql問題
這段SQL的原來思路是先left join，右表為null的就是相對右表新增的；再inner join，把對比修改的字段都判斷一遍，不全相等的就是左表相對右表更改的；最後再right join，把左表為null的篩出來，說明這是左表相對右表刪除的。最後最後，把3個查出來的結果再union起來。整個查詢時間非常漫長，需要49秒。
優化後的代碼，將左表和右表分別用DAO載下來，然後通過HashMap來進行對比，大致代碼如下：
Map
mapA = dbData; Map mapB = upload; Map mapBadd = new HashMap (mapB); Map mapBdel = new HashMap (); Map mapBchange = new HashMap (); Iterator it = mapA.keySet().iterator();while (it.hasNext()) { String key = it.next(); String[] val = mapA.get(key); if (mapB.containsKey(key)) { String[] bVal = mapB.get(key); if (val != null && val.equals(bVal) || Arrays.equals(val, bVal)) { } else { String[] changeVal = new String[val.length + bVal.length]; System.arraycopy(val, 0, changeVal, 0, val.length); System.arraycopy(bVal, 0, changeVal, val.length, bVal.length); mapBchange.put(key, changeVal); } mapBadd.remove(key); } else { // A裡面有的，B沒有的 mapBdel.put(key, val); } }
優化後僅需要1.023秒，非常快。
閱讀更多 Java高併發框架 的文章
