在互聯網高速的發展下，雖然硬件能力發展速度也很快，相同的成本下每18-24個月翻一番的增長（也被稱為摩爾定律），而數據的發展速度遠遠的高於硬件，為互聯網公司造成了很大的挑戰。
阿里巴巴早期使用Oracle數據庫進行數據存儲。這種互聯網1.0時代的數據庫架構很快就難以承受住電商數據的爆發式增長。阿里巴巴不得不徹底換血，重金打造和使用自己研發的數據庫。
京東在2013年以前經常因訪問量暴增而造成服務器癱瘓，不得不更新後臺架構，用java技術取代.net技術。
我們感受最深的應該還是前幾年的12306網站的購票災難。過年要回家，這是我們中國人的傳統。為了方便購票，鐵道部對購票系統進行信息化升級，12306網站上線。不過當時並沒有料到互聯網帶來的數據挑戰是什麼。本想方便群眾購票，卻首先創造了不方便，上億人同時查詢、購買車票的行為 讓服務器迅速卡死。很多批評聲音出現，認為程序員無能，認為換上電商工程師就能解決這個問題。
但真正關鍵的因素還是處理能力跟不上數據發展。有人專門比較了電商網站與12306網站。“雙十一”時，淘寶等電商網站雖然也承受了海量人群的下單行為，但是這些單子被分佈到數量巨大的商品上，彼此之間相關度很低，計算量也被服務器分攤了。火車票則不同，全國班次就那麼多，而火車票的搶購中，每一趟火車的千餘個座位很可能面臨數萬升至數十萬人的搶購，火力及其集中。每發生一次購買行為，出飄系統不但要分析該車次所有站點的數據，還要計算數十倍於車次出票的搶票順序數據，並實時更新沿線車站可售票數，可以說是牽一票而動全身。數據和計算量呈幾何式增長，而且一切還要在瞬間完成，即便不計成本投入更多服務器也難以解決。這種難題是大電商也沒有遇到過的，之後後來探索出新的計算架構和方法，才得以緩解。
BAT中最早面臨大數據衝擊的還有百度，“百度一下，你就知道”，全民搜索行為將海量數據發向百度服務器。日夜增長的網絡信息也讓百度內容爬蟲疲於奔命。後來通過預搜索方式下，才得以解決。
閱讀更多 那些年的回盼 的文章
