神经计算的历史背景
尽管“神经网络”这个词的出现已经有些年头，但是人们并没有对其建立严格的数学符号和形式化的表示，而且神经网络从一开始就不是独立的学科，它来源于生理学，心理学，物理，数学，工程的交叉领域，这种交叉使神经网络的研究看起来有点混乱。特别是现在的“深度学习”，有点急于撇清与神经网络的联系，我将通过对这一段漫长历史的回顾，看看他们之间无法割舍的血缘关系。
希腊哲学家亚里士多德(Aristotle 前384年-公元前322)认为人的意识、想象和记忆都植根于人的心脏。古埃及人也是这么认为的。所以，古埃及人在制作木乃伊时，会仔细处理心脏，反而将脑子扔掉。这可能是大家在电影中看到的木乃伊大多傻傻的一个原因。
亚里士多德
公元170年，古罗马时期最有影响力的医学大师，曾经给角斗士疗伤的罗马医生盖伦( Galen，130-200左右))，认为脑子控制人的脾气和身体的功能。他的病人包括被角斗士纳尔西斯(Narcissus)刺杀的古罗马皇帝康茂德(Commodus)（公元180至192在位）。没错，根据这个故事改编的电影就是由极富魅力的克劳罗素主演的史诗大片《角斗士》。
罗马医生盖伦
盖伦最大成就来自于那些当众演示的动物解剖和生理实验；他最基本的理论是生命来自于“气”，例如脑中的“动气”（Pneumaphysicon） 决定运动、感知和感觉。直到1600多年后，意大利生理学家伽尔伐尼( Luigi Galvani) 才提出：脑神经之间是通过电脉冲来相互交流的。从此脑电波的概念才得到广泛接受。盖伦还提出了’气质’这一概念，形成了关于人格的4种气质学说(胆汁质，多血质，粘液质，抑郁质)。不用说，这一定是一个经常拿刀在动物身体上开窗的人提出的，盖伦把伤口比喻成进入身体的窗户，此分类方式一直在心理学中沿用至今。
伽尔伐尼
现代神经网络领域的研究背景起源于19世纪末和20世纪初，那是多学科交叉发展的黄金时代。对于神经系统的结构，当时人们众说纷纭：神经细胞之间到底是相互独立的还是相互融合的？一种说法是神经细胞之间是相互独立的，那么细胞之间又是以何种形式传递信号的呢？在当时，这种形式仍属未知；一种则认为神经细胞之间是相互融合的，那么这将意味着整个神经系统是一个巨大的网络，神经细胞胞体将只负责提供支持和营养，脑将作为一个整体来实现它的功能。
上述两种意见各自拥有自己的支持者。然而在当时，第二种意见，也被称为网状理论还是占据了主流——至少它看上去更加合理，也不需要研究什么“未知的形式”去完善理论。现代的人工神经网络至少从字面上看更接近网状理论，然而它的发展却是由坚定地站在反对网状理论的一边的西班牙著名的生理学家圣地亚哥·拉蒙-卡哈尔（Santiago Ramón y Cajal）奠定了基础。
卡哈尔和他心爱的显微镜
卡哈尔致力于观察视网膜神经细胞之间的联系，这里的观察是真的用眼睛看，他的这种研究只需一台过得去的显微镜就能开张了。这主要是因为卡哈尔本身并不富裕(看看那简陋的实验台和打满补丁的外套), 这种情况在当时的科学界其实很少见。那个时候显微镜的发展对生理学和神经科学的作用完全可以跟现在GPU的发展对计算科学的作用相媲美。不同之处则是显微镜不断的将物体放大，而GPU的基本单元则一个劲的是使自己变小。有意思的是,在20世纪后半，神经科学和计算科学相结合诞生的神经计算(Neural Computing)，显微镜终于和集成电路联系在一起。
通过显微镜来观察脑神经细胞的过程也颇有点运气成分。细胞有自己的特点，细胞内部含有一些具有特定形态结构和功能的微器官，称为细胞器。某些细胞器的折射率与细胞质很相近，这影响了对细胞内部的观察。通俗的讲，如果你把细胞比作人一个人的话，这个人的内部器官几乎是透明的，就像隐形人一样。1872年，在意大利一家厨房里发生了神经科学中的一次重大进展。
帕维亚大学年轻的医学研究生卡米洛·高尔基（Camillo Golgi）由于对大脑的强烈兴趣而在医院的厨房建立了一个简易实验室。偶然地将一脑块放入盛有硝酸银溶液的碟子中，并在其中浸泡了几个星期。结果，高尔基发现了一个极其重要的反应。当他取出脑块时，变化已经发生了。在显微镜下出现了一种复杂的图案：在网状的缠结中悬浮着黑色的斑点。这种情况实际上比我们想象的更加复杂，这种染色过程只随机地标记出十分之一到百分之一的细胞，因此表现为苍白的黄褐色背景上的黑点。如果全部染色的话，黑色斑点的重合度将使我们什么都看不到。到目前为止，仍然无人完全了解的这个神奇的变化过程。我只能说幸运女神偏爱卡米洛·高尔基（Camillo Golgi）。这是人类第一次在显微镜下清晰地看到构成大脑的神经细胞的模样。“我眼前有坚实的证据，它表明了我所称的无处不在的神经网络的存在。” 高尔基断言到。
高尔基
神经网络
高尔基的发现使得它更加坚定的支持网状理论，他认为大脑类似于循环系统那样相互连通的网状结构，这些细胞的网状结构作为一个整体来完成大脑的基本功能。然而这种坚定的想法则把更加深刻的发现让给了意志坚定的卡哈尔。
卡哈尔研究并改进了高尔基染色法，即换用了更高浓度的其他液体并且延长了浸泡时间，从而获得了更清晰可靠染色样本，这种技巧现在依然是生物专业大学生的必修课。作为一个天才，他在他心爱Zeiss光学显微镜下（他的自传中他强烈表达了拥有高性能显微镜的喜悦，他的很多照片也都是与显微镜合影），凭借着自己高超的观察能力和绘画技艺，他完成了数百幅美观、细致的神经解剖学绘图。这些绘图后来长期被用作教学的范本，直到现在仍然可以出现在某些教材的对应章节中，下图是卡哈尔绘制的“神经元”。
卡哈尔绘制的神经元
这些图绝不仅仅因为他针对客观事物细致入微的观察以及严谨而认真的记录，更是因为他对神经结构功能的理解和分析。卡哈尔凭借其天才的观察力和想象力，从粗陋设备获得的模糊数据得出了对神经科学起到重大作用的精确的结论。卡哈尔确定了若干个重要的规律，并且在研究中始终贯彻：
1. 神经系统由神经元这样的基本单位构成，但在研究功能时，需要整体考虑各个结构之间的相互作用；
2. 神经信号的传导大多是单向的；
3. 神经元之间是生理结构上不连续的，神经信号可以跨过这种不连续的结构而传递下去。
卡哈尔的另一项工作也颇为有趣，他写了一本《致青年学者(Advice for a Young Investigator)》的小册子，这本小书一边吐槽西班牙政府的无能，一边却给出到目前依然值得借鉴的科学研究的精辟思想，在亚马逊和豆瓣几乎得到满分评价。本书特别适合研究生阅读，他列出了一名青年研究者应该具备的几乎所有品质。他特别强调了持久专注的重要性：“持久的专注可以让研究者觉察到最复杂的问题之中闪现的一线微光。” 他还他极度认真的教育青年研究者该找什么样的伴侣。卡哈尔认为身体健康、精神奋发向上的职业型女性是年轻研究者唯一可以向往的理想对象，他最看不上的就是文艺型女青年，称他们“无论是浏览珠宝时装，还是检视书商的货物，都是一样的兴奋和狂热。” “悠闲、奢华、炫耀生活的女人很难不把这些嗜好传染给她的丈夫“ 他认真的写道。
豆瓣书评：“老实说这么多年以来此书抽我耳光最多。“
高尔基和卡哈尔先后完成的工作对神经系统的发展做出了巨大贡献，但是两者依然坚持各自观点。在他们同时分享1906年的诺贝尔奖的时候，斯德哥尔摩市政厅便成了他们最好的宣传各自观点的平台。高尔基首先发言，他以脑部受损后功能的恢复以及脑组织强大一致的信息整合能力为依据再次申明了自己对网状理论的支持。随后，卡哈尔则说：“的确，如果神经中枢是由运动神经……和感觉神经相互融合并连续组成的网络，那么事情会变得非常方便、经济和易于分析。不幸的是，大自然似乎无视了我们智力上对方便和一致的需求，而往往乐于表现出复杂性和多样性。”
我们必须对100多年前的科学家们给予足够的尊重，高尔基的染色法是跨时代的，但不足以支撑对神经元更深入、更细致的研究，卡哈尔是幸运的，他得到了更接近事实的结论，所以被誉为 “神经科学之父“。
神经元到底是个什么东西？神经元（Neuron）就是一种细胞，神经元理论认为神经系统由大量的神经元构成，是神经系统的基本结构和功能单位之一， 卡哈尔的“神经元学说”提出神经细胞由细胞体、树突和轴突三部分组成，它是神经系统的基本单位，如下图所示。
神经元的基本结构
除了神经元的结构以外，卡哈尔凭借其天才的直觉，断言神经冲动的传导方向是自树突到胞体再到轴突，一般是单向的。
通过利用显微镜来对神经元结构进行定义以外，我们还需要一些科学家给出关于神经元功能和运作原理的进一步理解。1896年，英国科学家谢灵顿(Charles Scott Sherrington) 把神经元与神经元之间的接触点命名为突触，当时他虽然还不了解接触点的具体形态，但是他指出神经元与神经元之间是不连续的，而且推论有些突触是兴奋性的有些突触是抑制性的。1911年，艾德里安(Edgar Adrian)从剑桥大学毕业后，开始研究控制肌肉活动的神经冲动问题。他利用青蛙进行神经兴奋传导方面的试验。艾德里安发现外界刺激只有增强到一定阈值时才会引起神经冲动，此后即使再增加刺激强度，神经冲动的强度和传导速度也不会增加。这种阶梯跳跃的形式，就是生理学上著名的“全或无”法则。他和谢灵顿一起由于“关于神经功能方面的发现”而获得1932年诺贝尔生理学或医学奖。
谢灵顿
艾德里安
现在，你可以把神经元想象成一个小小的，滑溜溜的小扫帚，把柄就是轴突，用来扫地的一端就是树突，把柄另一段则是突触。树突主要用来获取其扫帚的突触传给他们的刺激， 这种刺激单向的传递到扫帚另一端的突触，突触本身就像一个花洒一样，把它的感受以化学或电作用的方式传给其他小扫帚。这些小扫帚，头尾相连或尾尾相连，但并不真正接触，它们构成的比拳头大不了多少的地方绝对是全宇宙当中最神奇的地方。
现在我们大都了解神经元具有感受刺激和传导兴奋的功能，通过接受、整合、传导和输出信息实现信息交换。从信息转换角度来看，神经元可以被认为是一个基本的编码单元。我们将会看到，人工神经网络不仅从结构上，更重要的是从功能上，几乎完全借鉴了这些发现。直到1943年，关于神经系统的研究一直都是在生理学与心理学方面，这项研究主要依赖于显微镜，电学以及化学作用。由于诺贝尔奖频繁的授予关于神经系统的开创性工作，尽管距离真正的神经网络模型(感知机)还有10多年的路要走，一些有远见的数学家也开始准备联合心理学家为神经元(网络)建立数学模型了。
图片转自网络，著作权归原作者所有。
关注公众号：心记录 阅读更多精彩。
