19.如何實現學習效率和創新能力最大化

學而不思則罔，思而不學則殆。孔子在《論語·衛靈公》中還說過：“吾嘗終日不食，終夜不寢，以思，無益，不如學也。” 子夏曰：“博學而篤志，切問而近思，仁在其中矣。” 這些都是強調學習與思考相結合的重要性。 西方的哲人康德也說“感性無知性則盲，知性無感性則空。”這與孔子的“學而不思則罔，思而不學則殆”可以說是驚人的一致。可見，人類在知識的學習和獲取上，不論地域、種族如何差異，其根本性原則往往是一致的。

學習問題自古以來就受到哲學家和教育家的關注，其原因在於學習是有機體生存和發展的基本要求。為了提高學習效率和創新能力，人們提出了許多的學習理論，典型的有基於聯結學習的理論：1．桑代克的嘗試—錯誤學說；2．巴甫洛夫的經典條件反射；3．斯金納的強化學說；4．加涅的信息加工理論；5．班杜拉的社會學習理論；基於認知學習的理論：1.科勒的完形—頓悟說；2．布魯納的認知結構學習理論；3．奧蘇伯爾的認知同化理論；4．建構主義學習理論。

近年來認知神經科學研究取得了許多重大突破，為揭示有機體的認知規律和提出新的學習理論奠定了堅實的科學基礎。比較典型的研究進展總結如下：

1、 學習記憶的細胞和分子水平的機制研究獲得重要進展——海馬結構與學習記憶密切相關，突觸傳遞的長時程增強（LTP）反映了一種突觸效率的變化，即可塑性，是學習記憶可擴展性的物質基礎^[1][2][3]。

2、 認知的基礎在於神經元的活動，體現為神經編碼是知覺、注意、記憶、語言和思維以及智能和意識等心理功能的信息處理基礎

^[4]。

3、 短期記憶不需要新蛋白質的合成，而長期記憶所需的基因產物必須是新合成的。神經編碼可分為動態（瞬時記憶）和靜態（長期記憶）兩種類型^[5]。

4、 關於學習的神經生理機制，已知任何學習活動，即使是最簡單的學習也不是靠單個細胞的活動，而是靠大量神經元的綜合活動，這些神經元之間構成複雜的關係網絡。學習、記憶、思維以及智能和意識等心理活動呈現出一種動力學特徵（“湧現”）^[6][7][8]。

5、 神經編碼體現出稀疏編碼的特徵。目標識別產生的神經興奮只有少數幾個神經元（相比於人類龐大的神經元數量，一般認為是10的10~12次方），這體現了能量最小耗用原則（又稱能量經濟性原則：編碼的記錄和讀出耗用最少，即激發脈衝數最少）^[9][10]。

6、

神經編碼的平衡性（多通道融合編碼結構的平衡性）：對同一物體，眼、耳、鼻、舌、身、意多種感知刺激對編碼的貢獻呈現出一種平衡性。這裡有兩個例子，例子一：人類在面對面的自然語言交流中充滿了各種語法錯誤和口誤，但卻能實現較好的交流效果，與受到語法嚴格規範的書面語言交流相比，發生歧義理解的可能性更小；例子二：人類在進行創造性活動時，往往會伴隨一些思索之外的活動：抖腿、抽菸、踱步、撓頭、或者是身體器官的其他重複運動。換句話來說，即多通道融合編碼的效率遠遠高於單通道編碼，比方說，眼、耳、鼻、舌、身五個通道，每個通道貢獻一個二進制位（1 bit）信息產生的編碼效率（總共5 bit），大於視覺一個通道32個二進制位（32 bit）信息編碼效率（這裡的“效率”是指信息被正確加工、存儲和檢索的速度）^[11-27]。

7、 資源消耗最小和能量耗用最小的平衡性：如果有128個神經元，假設每個神經元可以記憶兩種狀態（表示為0和1），每個神經元彼此沒有聯繫，則128個神經元最大能記憶256種狀態，而如果128個神經元彼此完全聯通，他們作為一個整體編碼單位，則可以表示2的128次方（約為10的13次方）個狀態，這足以給地球上每一粒沙一個編碼！為了實現編碼效率最大化，全聯通的神經結構（需要大量的神經連接突觸）應該是有機體神經編碼一個好的選擇，然而，事實是，神經科學研究證實，人類腦神經元的連接結構是一種稱之為“小世界模型”的結構

^[28]，如圖1所示，這是一種介於局域聯通和完全聯通的結構，它體現了資源消耗與編碼效率的一種平衡，是實現稀疏編碼的內在機制！

8、 大範圍拓撲優先：視覺系統具有在視覺初期過程檢測拓撲性質的基本而普遍的功能，在視覺的早期階段，視覺系統檢測的是物體的整體特徵，而不是局部特徵視知覺在初級階段，更敏感於大範圍的拓撲性質，而不是局部性質^[29-32]，此觀點已經得到實驗證實和廣泛認可。

9、 意識具有串行加工的特點，其內容具有流動性且轉瞬即逝，而大腦很明顯還具有並行加工的能力，那些與“意識流”平行發生的神經事件都是無意識的^[33]。神經網絡並行產生的多個“湧現”是同時存在的，通過注意機制，意識只能逐個映照和理解這些“湧現”。

基於上述事實，筆者提出：實現學習效率和創新能力最大化的前提是腦神經網絡系統的“生態平衡”。具體內涵解釋如下：

1、 學習的內在實現機制是神經網絡的構建，途徑是通過“思”與“學”的交替活動，評價標準是記憶內容的多少

（編碼空間的大小）和創新能力的強弱。（這裡的“思”是指：在保證稀疏編碼的前提下，實現編碼效率最大化，形成神經網絡靜態連接結構的活動，是對已有感官刺激的總結與優化，進而給出“學”的方向；而“學”是指：在已有的神經網絡靜態結構的基礎上，通過感官刺激促使神經網絡活動產生動態的“湧現”，以“湧現”的反覆呈現作為發展靜態神經網絡結構的導引）。

2、 神經編碼的平衡性（多通道融合編碼平衡性）使得多通道融合編碼的信息處理效率遠遠高於單通道編碼的信息處理效率；以小世界模型為基礎的神經網絡結構，保證了資源消耗最小（少的神經連接突觸）和能量耗用最小（稀疏編碼）之間的平衡；這兩種平衡筆者統稱為“生態平衡”。

3、 “生態平衡”實質上是學習和創新的一種保障條件，它蘊含著實現學習效率和創新能力最大化的前提：1、對於人類而言，保證眼、耳、鼻、舌、身、意等感知器官的平衡發育，是實現編碼信息處理效率最大化的物質基礎；2、保持“思”與“學”的平衡是實現創新能力的根本保證：良好的“思”能使神經網絡用最少的靜態連接結構存儲最多的信息（記憶），保證信息加工、存儲和檢索的速度較快，為未來的創新預留更多的資源空間，並且對“學”的方向給出較好的指引；良好的“學”使神經網絡的動態行為呈現新的有意義的“湧現”， “湧現”的反覆呈現是創新的起點，是靜態神經網絡結構進化發展的導引。（這裡的“有意義湧現”是指能夠被意識歸零（理解）的“湧現”）

表1給出了三種教育模式在神經元使用量、教授的概念數量和神經元的浪費數量的數據。

在筆者看來，模式一沒有教給學生任何概念，但也沒有開發神經網絡資源，不算是最壞的情況，所以評價分值是50分；模式三教授了128個概念，使用了7個神經元資源，神經編碼的效率達到了100%（2到7次方是128），沒有浪費一個神經元，所以評價分值是100分；而模式二雖然與模式三同樣教授了128個概念，但卻使用了128個神經元，相比模式三，浪費了121個神經元，所以評價分值是5.5分，其教育效果是最差的（模式二是當前我國教育普遍運用的模式，其特點是：小學、中學學生概念掌握情況（從應試成績角度評價）比較好，但是學生到了大學、研究生階段幾乎喪失深入學習和創新的能力，因為他們的神經元資源幾乎消耗殆盡，實際是一群“腦神經網絡系統嚴重殘缺的人”）。

參考文獻：

[1]. Bliss TV, Collingridge GL.Asynaptic mode lof memory: long-term potentiation in the hippocampus [J]. Nature, 1993, 361(6407):31-39.

[2]. Kandel ER, Schwartz JH, Jessell TM. Principles of Neural Science [M]. Forth Edition. NewYork: McGraw-Hill Companies in USA, 2000.1260-1265.

[3]. Voronin LL, Cherubini E. “Deaf, mute and whispering” sileng synapses: their role in synaptic plasticity [J]. J Physiol, 2004, 557(part1):3-12. D. J. Watts, S. H. Strogatz. Collective dynamics of ‘small-world’ networks [J]. Nature, 1998, 393(6684): 440-442.

[4]. B. G. Cumming and A. J. Parker. Responses of primary visual cortical neurons to binocular disparity without depth perception. Nature 389, 280-283 (18 September 1997).

[5]. Dan Ohtan Wang, Sang Mok Kim. Synapse- and Stimulus-Specific Local Translation during Long-Term Neuronal Plasticity. science 19 June 2009:DOI: 10.1126/science.1173205

[6]. J．J．Hopfiled．Neural networks and physical systems with emergent collective computational abilities[J]．Proceedings of the National Academy of Science of the USA, 1 982，79：2554-2558

[7]. J．J．HopfiIed．Neurons with graded response have collective computational properies like those of two-state neurons[J]．Proceedings of the National Academy of Science of the USA，1984．8l：3088-3092．

[8]. A. L. Barabási and R. Albert. Emergence of Scaling in Random Networks [J]. Science, 1999, 286: 509-512.

[9]. Olsbausen, B. A. & Field, D. J. (1996a) Emergence of simple-cell receptive field properties by learning a sparse code for natural images. Nature, 381,607-609.

[10].Vinje WE, Gallant JL: Sparse coding and decorrelation in primary visual cortex during natural vision. Science 2000, 287:1273-1276.

[11].Pillow JW, Shlens J, Paninski L, Sher A, Litke AM, Chichilnisky EJ, Simoncelli EP. Spatio-temporal correlations and visual signalling in a complete neuronal population. Nature 2008; 454(7207): 995–999.

[12].Marr D: Vision: A Computational Investigation into the Human Representation and Processing of Visual Information. San Francisco: WH Freeman and Company; 1982.

[13]. Simoncelli E, Olshausen B: Natural image statistics and neural representation. Annu Rev Neurosci 2001, 24:1193-1216.

[14]. Barlow HB: Redundancy reduction revisited. Network 2001, 12:241-253.

[15].Nirenberg S, Carcieri SM, Jacobs AL, Latham PE: Retinal ganglion cells act largely as independent encoders. Nature 2001, 411:698-701.

[16].Vinje WE, Gallant JL: Natural stimulation of the nonclassical receptive field increases information transmission efficiency in V1. J Neurosci 2002, 22:2904-2915.

[17].Chechik G, Globerson A, Tishby N, Anderson MJ, Young ED, Nelken I: Group redundancy measures reveal redundancy reduction in the auditory pathway. In Advanced Neural Information Processing Systems NIPS*01) vol 14. Edited by Dietterich TG, Becker S, Ghahramani Z. Cambridge, MA: MIT Press; 2002.

[18].Mason,M.F., et al．Wandering minds: The default network and stimulus-independent thought．Science 315,393-395(2007)．

[19].Reinagel P: How do visual neurons respond in the real world? Curr Opin Neurobiol 2001, 11:437-442.

[20]. Reich DS, Mechler F, Victor JD: Independent and redundant information of nearby cortical neurons. Science 2001, 294:2566-2568.

[21]. Wiener MC, Oram MW, Liu Z, Richmond BJ: Consistency of encoding in monkey visual cortex. J Neurosci 2001, 21:8210-8221.

[22].Schwartz O, Simoncelli EP: Natural signal statistics and sensory gain control. Nat Neurosci 2001, 4:819-825.

[23].Van Hateren JH, Snippe HP: Information theoretical evaluation of parametric models of gain control in blowfly photoreceptor cells. Vision Res 2001, 41:1851-1865.

[24]. Zetzsche C, Rohrbein F: Nonlinear and extra-classical receptive field properties and the statistics of natural scenes. Network 2001, 12:331-350.

[25]. Hoyer P, Hyvarinen A: A multi-layer sparse coding network learns contour coding from natural images. Vision Res 2002, 42:1593-1605.

[26].Fairhall A, Lewen G, Bialek W, de-Ruyter-van-Steveninck R: Efficiency and ambiguity in an adaptive neural code. Nature 2001, 412:787-792.

[27].Eero P Simoncelli. Vision and the statistics of the visual environment. Current Opinion in Neurobiology 2003, 13:144-149.

[28].D. J. Watts, S. H. Strogatz. Collective dynamics of ‘small-world’ networks [J]. Nature, 1998, 393(6684): 440-442.

[29].Chen，L. Topological structure in visual perception. Science, 1982.218(4573):p699-700.

[30].Chen，L. Perceptual organization: To reverse back the inverted (upside-down) question of feature binding. VISUALCOGNITION，2001.8(3):P.287-303.

[31].Chen，L.，5.Zhang，and M.V Srinivasan，Global Perception in small brains: topological Pattern recognition in honey bees. Proc Natl Acad Sci USA, 2003.100(11):P.6884-9.

[32].Chen，L. The topological approach to Perceptual organization. VISUAL COGNITION，2005.12(4):P.553-701.

[33].Seth, A.K．&Baars, B.J．Neural Darwinism and consciousness．Consciousness and cognition 14，140-168(2005)．