設計存儲海量數據的存儲系統:設計一個叫“中間層”的一個邏輯層,在這個層,將數據庫的海量數據抓出來,做成緩存,運行在服務器的內存中,同理,當有新的數據到來,也先做成緩存,再想辦法,持久化到數據庫中,這是一個簡單的思路。主要的步驟是負載均衡,將不同用戶的請求分發到不同的處理節點上,然後先存入緩存,定時向主數據庫更新數據。讀寫的過程採用類似樂觀鎖的機制,可以一直讀(在寫數據的時候也可以),但是每次讀的時候會有個版本的標記,如果本次讀的版本低於緩存的版本,會重新讀數據,這樣的情況並不多,可以忍受。
Session與Cookie:Cookie可以讓服務端跟蹤每個客戶端的訪問,但是每次客戶端的訪問都必須傳回這些Cookie,如果Cookie很多,則無形的增加了客戶端與服務端的數據傳輸量,
而Session則很好地解決了這個問題,同一個客戶端每次和服務端交互時,將數據存儲通過Session到服務端,不需要每次都傳回所有的Cookie值,而是傳回一個ID,每個客戶端第一次訪問服務器生成的唯一的ID,客戶端只要傳回這個ID就行了,這個ID通常為NAME為JSESSIONID的一個Cookie。這樣服務端就可以通過這個ID,來將存儲到服務端的KV值取出了。
Session和Cookie的超時問題,Cookie的安全問題
分佈式Session框架
- 配置服務器,Zookeeper集群管理服務器可以統一管理所有服務器的配置文件
- 共享這些Session存儲在一個分佈式緩存中,可以隨時寫入和讀取,而且性能要很好,如Memcache,Tair。
- 封裝一個類繼承自HttpSession,將Session存入到這個類中然後再存入分佈式緩存中
- 由於Cookie不能跨域訪問,要實現Session同步,要同步SessionID寫到不同域名下。
適配器模式:將一個接口適配到另一個接口,Java I/O中InputStreamReader將Reader類適配到InputStream,從而實現了字節流到字符流的準換。
裝飾者模式:保持原來的接口,增強原來有的功能。
FileInputStream 實現了InputStream的所有接口,BufferedInputStreams繼承自FileInputStream是具體的裝飾器實現者,將InputStream讀取的內容保存在內存中,而提高讀取的性能。
Spring事務配置方法:
1.切點信息,用於定位實施事物切面的業務類方法
2.控制事務行為的事務屬性,這些屬性包括事物隔離級別,事務傳播行為,超時時間,回滾規則。
Spring通過aop/tx Schema 命名空間和@Transaction註解技術來進行聲明式事物配置。
Mybatis
每一個Mybatis的應用程序都以一個SqlSessionFactory對象的實例為核心。首先用字節流通過Resource將配置文件讀入,然後通過SqlSessionFactoryBuilder().build方法創建SqlSessionFactory,然後再通過SqlSessionFactory.openSession()方法創建一個SqlSession為每一個數據庫事務服務。
經歷了Mybatis初始化 –>創建SqlSession –>運行SQL語句,返回結果三個過程
Servlet和Filter的區別:
整的流程是:Filter對用戶請求進行預處理,接著將請求交給Servlet進行處理並生成響應,最後Filter再對服務器響應進行後處理。
Filter有如下幾個用處:
Filter可以進行對特定的url請求和相應做預處理和後處理。
在HttpServletRequest到達Servlet之前,攔截客戶的HttpServletRequest。
根據需要檢查HttpServletRequest,也可以修改HttpServletRequest頭和數據。
在HttpServletResponse到達客戶端之前,攔截HttpServletResponse。
根據需要檢查HttpServletResponse,也可以修改HttpServletResponse頭和數據。
實際上Filter和Servlet極其相似,區別只是Filter不能直接對用戶生成響應。實際上Filter裡doFilter()方法裡的代碼就是從多個Servlet的service()方法裡抽取的通用代碼,通過使用Filter可以實現更好的複用。
Filter和Servlet的生命週期:
1.Filter在web服務器啟動時初始化
2.如果某個Servlet配置了 1 ,該Servlet也是在Tomcat(Servlet容器)啟動時初始化。
3.如果Servlet沒有配置1 ,該Servlet不會在Tomcat啟動時初始化,而是在請求到來時初始化。
4.每次請求, Request都會被初始化,響應請求後,請求被銷燬。
5.Servlet初始化後,將不會隨著請求的結束而註銷。
6.關閉Tomcat時,Servlet、Filter依次被註銷。
HashMap與HashTable的區別。
1、HashMap是非線程安全的,HashTable是線程安全的。
2、HashMap的鍵和值都允許有null值存在,而HashTable則不行。
3、因為線程安全的問題,HashMap效率比HashTable的要高。
HashMap的實現機制:
- 維護一個每個元素是一個鏈表的數組,而且鏈表中的每個節點是一個Entry[]鍵值對的數據結構。
- 實現了數組+鏈表的特性,查找快,插入刪除也快。
- 對於每個key,他對應的數組索引下標是 int i = hash(key.hashcode)&(len-1);
- 每個新加入的節點放在鏈表首,然後該新加入的節點指向原鏈表首
HashMap和TreeMap區別
HashMap衝突
HashMap,ConcurrentHashMap與LinkedHashMap的區別
- ConcurrentHashMap是使用了鎖分段技術技術來保證線程安全的,鎖分段技術:首先將數據分成一段一段的存儲,然後給每一段數據配一把鎖,當一個線程佔用鎖訪問其中一個段數據的時候,其他段的數據也能被其他線程訪問
- ConcurrentHashMap 是在每個段(segment)中線程安全的
- LinkedHashMap維護一個雙鏈表,可以將裡面的數據按寫入的順序讀出
ConcurrentHashMap應用場景
1:ConcurrentHashMap的應用場景是高併發,但是並不能保證線程安全,而同步的HashMap和HashMap的是鎖住整個容器,而加鎖之後ConcurrentHashMap不需要鎖住整個容器,只需要鎖住對應的Segment就好了,所以可以保證高併發同步訪問,提升了效率。
2:可以多線程寫。
ConcurrentHashMap把HashMap分成若干個Segmenet
1.get時,不加鎖,先定位到segment然後在找到頭結點進行讀取操作。而value是volatile變量,所以可以保證在競爭條件時保證讀取最新的值,如果讀到的value是null,則可能正在修改,那麼就調用ReadValueUnderLock函數,加鎖保證讀到的數據是正確的。
2.Put時會加鎖,一律添加到hash鏈的頭部。
3.Remove時也會加鎖,由於next是final類型不可改變,所以必須把刪除的節點之前的節點都複製一遍。
4.ConcurrentHashMap允許多個修改操作併發進行,其關鍵在於使用了鎖分離技術。它使用了多個鎖來控制對Hash表的不同Segment進行的修改。
ConcurrentHashMap的應用場景是高併發,但是並不能保證線程安全,而同步的HashMap和HashTable的是鎖住整個容器,而加鎖之後ConcurrentHashMap不需要鎖住整個容器,只需要鎖住對應的segment就好了,所以可以保證高併發同步訪問,提升了效率。
ConcurrentHashMap能夠保證每一次調用都是原子操作,但是並不保證多次調用之間也是原子操作。
Vector和ArrayList的區別
ExecutorService service = Executors…. ExecutorService service = new ThreadPoolExecutor() ExecutorService service = new ScheduledThreadPoolExecutor();
ThreadPoolExecutor源碼分析
線程池本身的狀態:
等待任務隊列和工作集:
線程池的主要狀態鎖:
線程池的存活時間和大小:
1.2 ThreadPoolExecutor 的內部工作原理
有了以上定義好的數據,下面來看看內部是如何實現的 。 Doug Lea 的整個思路總結起來就是 5 句話:
- 如果當前池大小 poolSize 小於 corePoolSize ,則創建新線程執行任務。
- 如果當前池大小 poolSize 大於 corePoolSize ,且等待隊列未滿,則進入等待隊列
- 如果當前池大小 poolSize 大於 corePoolSize 且小於 maximumPoolSize ,且等待隊列已滿,則創建新線程執行任務。
- 如果當前池大小 poolSize 大於 corePoolSize 且大於 maximumPoolSize ,且等待隊列已滿,則調用拒絕策略來處理該任務。
- 線程池裡的每個線程執行完任務後不會立刻退出,而是會去檢查下等待隊列裡是否還有線程任務需要執行,如果在 keepAliveTime 裡等不到新的任務了,那麼線程就會退出。
Executor包結構
CopyOnWriteArrayList : 寫時加鎖,當添加一個元素的時候,將原來的容器進行copy,複製出一個新的容器,然後在新的容器裡面寫,寫完之後再將原容器的引用指向新的容器,而讀的時候是讀舊容器的數據,所以可以進行併發的讀,但這是一種弱一致性的策略。
使用場景:CopyOnWriteArrayList適合使用在讀操作遠遠大於寫操作的場景裡,比如緩存。
Linux常用命令:cd,cp,mv,rm,ps(進程),tar,cat(查看內容),chmod,vim,find,ls
死鎖的必要條件
- 互斥 至少有一個資源處於非共享狀態
- 佔有並等待
- 非搶佔
- 循環等待
解決死鎖,第一個是死鎖預防,就是不讓上面的四個條件同時成立。二是,合理分配資源。
三是使用銀行家算法,如果該進程請求的資源操作系統剩餘量可以滿足,那麼就分配。
進程間的通信方式
- 管道( pipe ):管道是一種半雙工的通信方式,數據只能單向流動,而且只能在具有親緣關係的進程間使用。進程的親緣關係通常是指父子進程關係。
- 有名管道 (named pipe) : 有名管道也是半雙工的通信方式,但是它允許無親緣關係進程間的通信。
- 信號量( semophore ) : 信號量是一個計數器,可以用來控制多個進程對共享資源的訪問。它常作為一種鎖機制,防止某進程正在訪問共享資源時,其他進程也訪問該資源。因此,主要作為進程間以及同一進程內不同線程之間的同步手段。
- 消息隊列( message queue ) : 消息隊列是由消息的鏈表,存放在內核中並由消息隊列標識符標識。消息隊列克服了信號傳遞信息少、管道只能承載無格式字節流以及緩衝區大小受限等缺點。
- 信號 ( sinal ) : 信號是一種比較複雜的通信方式,用於通知接收進程某個事件已經發生。
- 共享內存( shared memory ) :共享內存就是映射一段能被其他進程所訪問的內存,這段共享內存由一個進程創建,但多個進程都可以訪問。共享內存是最快的 IPC 方式,它是針對其他進程間通信方式運行效率低而專門設計的。它往往與其他通信機制,如信號量,配合使用,來實現進程間的同步和通信。
- 套接字( socket ) : 套解口也是一種進程間通信機制,與其他通信機制不同的是,它可用於不同機器間的進程通信。
進程與線程的區別和聯繫
操作系統的進程調度算法
計算機系統的層次存儲結構詳解
數據庫事務是指作為單個邏輯工作單元執行的一系列操作。
MySQL數據庫優化總結
MYSQL 優化常用方法
MySQL存儲引擎--MyISAM與InnoDB區別
關於SQL數據庫中的範式
Hibernate的一級緩存是由Session提供的,因此它只存在於Session的生命週期中,當程序調用save(),update(),saveOrUpdate()等方法 及調用查詢接口list,filter,iterate時,如Session緩存中還不存在相應的對象,Hibernate會把該對象加入到一級緩存中,當Session關閉的時候緩存也會消失。
Hibernate的一級緩存是Session所內置的,不能被卸載,也不能進行任何配置一級緩存採用的是key-value的Map方式來實現的,在緩存實體對象時,對象的主關鍵字ID是Map的key,實體對象就是對應的值。
Hibernate二級緩存:把獲得的所有數據對象根據ID放入到第二級緩存中。Hibernate二級緩存策略,是針對於ID查詢的緩存策略,刪除、更新、增加數據的時候,同時更新緩存。
進程和線程的區別:
進程:每個進程都有獨立的代碼和數據空間(進程上下文),進程間的切換會有較大的開銷,一個進程包含1–n個線程。
線程:同一類線程共享代碼和數據空間,每個線程有獨立的運行棧和程序計數器(PC),線程切換開銷小。
線程和進程一樣分為五個階段:創建、就緒、運行、阻塞、終止。
多進程是指操作系統能同時運行多個任務(程序)。
多線程是指在同一程序中有多個順序流在執行。
在java中要想實現多線程,有三種手段,一種是繼續Thread類,另外一種是實現Runable接口,還有就是實現Callable接口。
Switch能否用string做參數?
a.在 Java 7 之前, switch 只能支持byte,short,char,int 或者其對應的封裝類以及 Enum 類型。在Java 7中,String 支持被加上了。
Object有哪些公用方法?
a.方法equals測試的是兩個對象是否相等
b.方法clone進行對象拷貝
c.方法getClass返回和當前對象相關的Class對象
d.方法notify,notifyall,wait都是用來對給定對象進行線程同步的
Java的四種引用,強弱軟虛,以及用到的場景
a.利用軟引用和弱引用解決OOM問題:用一個HashMap來保存圖片的路徑和相應圖片對象關聯的軟引用之間的映射關係,在內存不足時,JVM會自動回收這些緩存圖片對象所佔用的空間,從而有效地避免了OOM的問題。
b.通過軟可及對象重獲方法實現Java對象的高速緩存:比如我們創建了一Employee的類,如果每次需要查詢一個僱員的信息。哪怕是幾秒中之前剛剛查詢過的,都要重新構建一個實例,這是需要消耗很多時間的。我們可以通過軟引用和 HashMap 的結合,先是保存引用方面:以軟引用的方式對一個Employee對象的實例進行引用並保存該引用到HashMap 上,key 為此僱員的 id,value為這個對象的軟引用,另一方面是取出引用,緩存中是否有該Employee實例的軟引用,如果有,從軟引用中取得。如果沒有軟引用,或者從軟引用中得到的實例是null,重新構建一個實例,並保存對這個新建實例的軟引用。
c.強引用:如果一個對象具有強引用,它就不會被垃圾回收器回收。即使當前內存空間不足,JVM也不會回收它,而是拋出 OutOfMemoryError 錯誤,使程序異常終止。如果想中斷強引用和某個對象之間的關聯,可以顯式地將引用賦值為null,這樣一來的話,JVM在合適的時間就會回收該對象。
d.軟引用:在使用軟引用時,如果內存的空間足夠,軟引用就能繼續被使用,而不會被垃圾回收器回收,只有在內存不足時,軟引用才會被垃圾回收器回收。
e.弱引用:具有弱引用的對象擁有的生命週期更短暫。因為當 JVM 進行垃圾回收,一旦發現弱引用對象,無論當前內存空間是否充足,都會將弱引用回收。不過由於垃圾回收器是一個優先級較低的線程,所以並不一定能迅速發現弱引用對象。
f.虛引用:顧名思義,就是形同虛設,如果一個對象僅持有虛引用,那麼它相當於沒有引用,在任何時候都可能被垃圾回收器回收。
Hashcode的作用,與 equal 有什麼區別?
a.同樣用於鑑定2個對象是否相等的,java集合中有 list 和 set 兩類,其中 set不允許元素重複實現,那個這個不允許重複實現的方法,如果用 equal 去比較的話,如果存在1000個元素,你 new 一個新的元素出來,需要去調用1000次 equal 去逐個和他們比較是否是同一個對象,這樣會大大降低效率。hashcode實際上是返回對象的存儲地址,如果這個位置上沒有元素,就把元素直接存儲在上面,如果這個位置上已經存在元素,這個時候才去調用equal方法與新元素進行比較,相同的話就不存了,散列到其他地址上。
Override和Overload的含義以及區別
a.Overload顧名思義是重新加載,它可以表現類的多態性,可以是函數里面可以有相同的函數名但是參數名、返回值、類型不能相同;或者說可以改變參數、類型、返回值但是函數名字依然不變。
b.就是ride(重寫)的意思,在子類繼承父類的時候子類中可以定義某方法與其父類有相同的名稱和參數,當子類在調用這一函數時自動調用子類的方法,而父類相當於被覆蓋(重寫)了。
具體可前往C++中重載、重寫(覆蓋)的區別實例分析查看
抽象類和接口的區別
a.一個類只能繼承單個類,但是可以實現多個接口
b.抽象類中可以有構造方法,接口中不能有構造方法
c.抽象類中的所有方法並不一定要是抽象的,你可以選擇在抽象類中實現一些基本的方法。而接口要求所有的方法都必須是抽象的
d.抽象類中可以包含靜態方法,接口中不可以
e.抽象類中可以有普通成員變量,接口中不可以
解析XML的幾種方式的原理與特點:DOM、SAX、PULL
a.DOM:消耗內存:先把xml文檔都讀到內存中,然後再用DOM API來訪問樹形結構,並獲取數據。這個寫起來很簡單,但是很消耗內存。要是數據過大,手機不夠牛逼,可能手機直接死機
b.SAX:解析效率高,佔用內存少,基於事件驅動的:更加簡單地說就是對文檔進行順序掃描,當掃描到文檔(document)開始與結束、元素(element)開始與結束、文檔(document)結束等地方時通知事件處理函數,由事件處理函數做相應動作,然後繼續同樣的掃描,直至文檔結束。
c.PULL:與 SAX 類似,也是基於事件驅動,我們可以調用它的next()方法,來獲取下一個解析事件(就是開始文檔,結束文檔,開始標籤,結束標籤),當處於某個元素時可以調用XmlPullParser的getAttributte()方法來獲取屬性的值,也可調用它的nextText()獲取本節點的值。
wait()和sleep()的區別
sleep來自Thread類,和wait來自Object類
調用sleep()方法的過程中,線程不會釋放對象鎖。而 調用 wait 方法線程會釋放對象鎖
sleep睡眠後不出讓系統資源,wait讓出系統資源其他線程可以佔用CPU
sleep(milliseconds)需要指定一個睡眠時間,時間一到會自動喚醒
JAVA 中堆和棧的區別,說下java 的內存機制
a.基本數據類型比變量和對象的引用都是在棧分配的
b.堆內存用來存放由new創建的對象和數組
c.類變量(static修飾的變量),程序在一加載的時候就在堆中為類變量分配內存,堆中的內存地址存放在棧中
d.實例變量:當你使用java關鍵字new的時候,系統在堆中開闢並不一定是連續的空間分配給變量,是根據零散的堆內存地址,通過哈希算法換算為一長串數字以表徵這個變量在堆中的”物理位置”,實例變量的生命週期–當實例變量的引用丟失後,將被GC(垃圾回收器)列入可回收“名單”中,但並不是馬上就釋放堆中內存
e.局部變量: 由聲明在某方法,或某代碼段裡(比如for循環),執行到它的時候在棧中開闢內存,當局部變量一但脫離作用域,內存立即釋放
JAVA多態的實現原理
a.抽象的來講,多態的意思就是同一消息可以根據發送對象的不同而採用多種不同的行為方式。(發送消息就是函數調用)
b.實現的原理是動態綁定,程序調用的方法在運行期才動態綁定,追溯源碼可以發現,JVM 通過參數的自動轉型來找到合適的辦法。
閱讀更多 美食代碼喵 的文章