本文首發自匯眾醫療，作者：匯眾研究院
摘要：特殊的深層人工神經網絡（ANNs）是當今靈長類動物大腦腹側視覺流的最精確的模型。利用人工神經網絡驅動的圖像合成方法，發現發光功率模式（即圖像）可以應用於靈長類視網膜，並預測促進目標V4神經網站的尖峰活動超出自然發生的水平。這種方法實現了對V4神經位點整個群體活動狀態的前所未有的獨立控制，甚至是重疊感受野。知識如何嵌入ANN模型可用於在神經元水平分辨率下無創地設置所需的內部大腦狀態，並建議更精確的ANN模型可以推動更精確的控制。
引言：光線模式通過“深度”系列的“連接”的神經系統進行處理和表現稱為腹側視覺流。 視覺神經科學研究表明，這些神經活動模式是人類識別事物及其關係能力的基礎。最新研究幫助神經科學家建立更加精確複雜的模型。目前，深層人工神經網絡（ANN）模型是最好的模型，其中每個腦區都有相應的模型層和相應的模型神經元。這些模型很好地預測了腦神經元的反應，但它們對進一步瞭解靈長類動物的貢獻仍然存在爭議。
合理性： 這些模型具有兩個潛在的侷限性。 首先，因為這些模型目標是成為大腦的高保真計算機化副本，所以通過這些模型進行的計算很難讓人們理解。 從這個意義上講，每個模型看起來都像是一個“黑匣子”，目前還不清楚如何解讀這些模型。 其次，這些模型的泛化能力受到質疑，因為它們僅在視覺刺激上進行了測試，這些刺激類似於用於“教導”模型的視覺刺激。 研究人員的目標是通過在中層視覺腦區域進行非人靈長類動物神經生理學實驗來評估這兩種潛在的侷限性。
研究者們試圖回答兩個問題：
（i）儘管這些人工神經網絡模型很難理解，嵌入知識對潛在應用（即神經活動控制）是否有用？”
（ii）這些模型是否能夠準確預測大腦對新圖像的反應？
結果：研究人員進行了幾個閉環神經生理學實驗：在將模型神經元與記錄的神經位點進行匹配後，基於模型對腹側視覺流程理解，利用模型合成完整的“控制器”圖像。然後將這些圖像呈現給受試者來測試其控制神經元的能力。在測試中，試圖控制每個大腦神經元，以便激活它超出其通常觀察到的最大激活水平。結果發現模型生成的合成刺激成功地驅使68％的神經位點超出其自然觀察到的激活水平（機會水平為1％）。在更嚴格的測試中，該模型顯示它能夠選擇性地控制整個神經亞群，激活特定神經元，同時滅活其他記錄的神經元（成功率為76％;幾率為1％）。
接下來，使用這些非天然合成控制器圖像來探索模型預測大腦反應的能力是否對新圖像有用。結果該模型準確預測了54％的圖像誘發大腦反應模式（機會水平為0％），但顯然該模型還不完美。
結論：儘管深度ANN視覺處理模型的非線性計算難以準確地總結出來，但它們是視覺加工嵌入集體知識的可分享方式，並且可以通過新知識進行細化。研究結果表明，目前嵌入式知識已經具有潛在的應用價值（神經控制），並且這些模型可以進行部分推廣。研究結果也表明這些模型還不完善， ANN模型將推動更精確的神經控制。這種非侵入性的神經控制在神經科學家手中不僅僅是潛在的能量，而且可以發現新型治療方案。
圖：通過深度神經網絡模型合成的圖像集合來控制靈長類動物V4皮層區域中的神經元活動。使用深度人工神經網絡通過合成視覺刺激來控制獼猴皮質區域V4中的神經元群體的活動模式。當應用於受試者的視網膜時，成功地誘導實驗者所需的神經反應模式。
前饋人工神經網絡模型（ANNs）構成了目前對靈長類腹側視覺流中初始~200ms處理的最準確的“理解”，以及其支持的核心目標識別行為。ANN內部神經元與中層（區域V4）和高級（下顳下）皮質階段的視覺誘發神經元表徵非常相似。該發現已經擴展到神經表徵內部神經V1位點，在核心物體識別任務中的行為表現，以及人類腹側視覺流的腦磁圖和功能磁共振成像（fMRI）測量。值得注意的是，這些模型與大腦相似性的發現並非曲線擬合大腦數據;他們是利用圖像評估預測而不是利用ANN模型對未見過的圖像進行評估預測。該研究證實了這些模型對腹側視覺流的關鍵功能特性的捕捉。
但是，這個研究至少有兩個重要的潛在限制。首先，因為由模型執行的視覺加工無法簡單進行描述，並且因為模型僅僅根據與腦相似的內部功能進行評估，所以它們可能更像是腹側流的副本，而不是對其的“理解”。其次，因為用於評估相似性的圖像來自於使用了模型的內部參數（照片和渲染對象數據庫）的分佈，所以這些模型是否會通過功能相似性的更強測試是不確定的，且這種相似性是否會推廣到完全新的圖像。模型功能與腦相似大大高估了它們真正的功能相似性。
研究人員進行了一系列非人類靈長類視覺神經生理學實驗，通過測試模型所包含的詳細知識是否有助於應用（神經元控制）來評估第一個潛在的限制，並通過探索模型與大腦的功能相似性是否推廣到完全新的圖像來評估第二個潛在的限制。使用先進的深部ANN腹側流模型（即具有完全固定參數集的特定模型）來合成新的發光模式（“控制器圖像”），當應用於其時，它們可以控制特定的神經發射活動。在兩種情況下，實驗選擇獼猴皮層視覺區域V4中的神經位點：（i）神經“伸展”，其中任意單個目標神經位點的最大射擊速率超出自然發生的最大速度，以及（ii）神經群體狀態控制，其中合成圖像獨立控制小型神經位點（這裡是5到40個神經位點）。通過使用該模型設計的視網膜輸入來測試該群體控制，以驅使V4群體進入實驗者選擇的“單一”狀態，其中一個神經位點被推動為高度活躍而所有其他附近位點在基線活化水平同時被“鉗制”。至少一個ANN網絡模型可用於非侵入性地控制大腦。
研究者利用慢性植入的微電極陣列來記錄視覺區域V4中的107個神經多單元和單個單位位點在三個固定的恆河猴中的響應，這些恆河獼猴被指定為M，N和S（nM = 52，nN = 33，nS = 22）。首先確定了每個位點的經典感受野（cRF），並簡要介紹了小方塊。然後使用一組640個自然圖像（總是呈現覆蓋視野的中心8°，與所有記錄的V4位點的估計cRF重疊）以及一組V4神經元的良好驅動因子370複雜曲率刺激來測試每個位點。使用每個網站的視覺誘發反應到90％的自然主義圖像（n = 576），從深度ANN模型的單個“V4”層創建了一個映射。並選擇最大限度地預測區域V4對自然圖像集的響應的模型層，使用線性映射進行兩次交叉驗證。腦組織映射的預測準確性之前曾被用來衡量大腦模型對大腦的功能保真度。事實上，使用V4響應來保留10％的天然主義圖像符號。結果發現神經預測模型正確地預測了V4神經反應中89％的可解釋（即圖像驅動）方差（107個站點的中位數，每個站點都計算了數據的兩個映射/測試分裂;參見方法）。
除了生成模型V4到大腦的V4相似度得分（在這種情況下為89％），這個映射程序產生了一個潛在的強大工具：每個V4神經網絡的視覺誘發射擊率的圖像可計算預測模型。如果該模型準確的話，可預測性模型不僅僅是一個數據擬合設備，一個相似性評分方法。相反它必須隱含地捕獲大量可能難以描述視覺知識，且假設（通過模型）被大腦用來實現成功的視覺行為。為了獲取這些知識，研究者使用模型驅動的圖像合成算法來生成為每個神經網站定製的控制器圖像（即，根據其預測模型），這樣每個圖像應該可預測並且可控制V4神經位點放電頻率。該研究的目的是檢驗這樣的假設，即實驗者在視網膜上應用特定的發光功率模式使V4神經元移動到特定的，實驗者指定的激活狀態。
儘管實驗者極大可能會要求利用控制器方法能夠實現神經活動狀態，但研究者將實驗限制在視網膜功率輸入後70到170毫秒的V4尖峰活動（其中模擬器被認為是最準確的），並且測試了兩個控制設置：為了測試和量化控制的優越性，拉伸控制應用了動物主體的合成控制圖像所指定的發光體的圖像，同時記錄了相同V4神經網站的響應。
對視網膜上的發光功率模式的每個實驗操作通俗地稱為“圖像的呈現”。然而，此處，在實驗者控制下與其他應用的發光功率模式完全隨機化的應用功率的精確操作以強調與更直接的能量應用（例如，光遺傳學實驗）相同，因為實驗控制的優點是從功率操縱和神經反應之間的相關性推斷出來的。這兩種方法之間的唯一區別在於，它是在實驗控制的功率和受控的因變量（這裡是V4尖峰速率）之間進行干預的機制。這些是人工神經網絡模型旨在用疊加的突觸，閾值非線性和正常化電路來近似的步驟。在這裡介紹的控制案例和光遺傳學控制案例中，這些干擾的步驟是不知名的。同時，這兩個實驗都不是“只有相關性”，因為因果關係是從實驗者提供的，實驗者隨機的權力應用到系統中推斷出來的。因為每個實驗都是在記錄的不同時間進行的（1天構建所有預測模型，1天進行測試對照），只有神經網站保持高信噪比和對標準集的響應的一致等級順序在兩個實驗日中。
圖1：合成步驟概述。（A）兩個測試控制方案的示意圖。左：控制器算法合成新的圖像，它將最大程度地驅動目標神經部位（伸展）的電擊速率。在這種情況下，控制算法不調節其他測量神經元的活動（例如，它們也可能增加所顯示的）。右：控制算法合成，它將最大程度地驅動目標神經部位的射擊速率的圖像，同時抑制其他測量的神經部位的活動。 （B）頂部：單個示例V4神經部位對640個自然圖像的響應（每個圖像的平均重複約40次）由重疊的灰線表示;左上方的黑線表示圖像呈現時段。下圖：自然圖像的最高和最低神經反應的光柵圖，分別對應於頂部面板中的黑色和紫色線。陰影區域表示時間窗口計算每個V4神經部位的活動水平（即，每個神經部位的每個圖像一個值）。 （C）神經控制實驗分四步完成：（1）通過訓練大量標記的自然圖像來優化神經網絡的參數，然後保持恆定。 （2）ANN“神經元”被映射到每個記錄的V4神經網站。映射函數構成這些V4站點中的每一個的活動的圖像可計算預測模型。 （3）然後將得到的可微分模型用於合成單個位點或群體控制的“控制器”圖像。 （4）然後由實驗者將由這些圖像指定的發光功率模式應用於受試者的視網膜，並測量神經部位的控制程度。 AIT：前顳下皮質; CIT：中央下顳皮質; PIT：後顳下皮質。 （D）猴M（黑色），猴N（紅色）和猴S（藍色）中神經位點的經典感受野。
延伸控制：最大化單一V4神經元活動
我們首先定義了每個V4神經元“自然觀察到的最大放電率” - 這是通過測試其對最佳的反應來發現640自然測試圖像（交叉驗證重複陳述）。然後我們為其生成合成控制器圖像指示合成算法驅動其中一個神經網絡的放電率高達可能超出這個速度，無論另一個V4神經網絡。對於我們的第一個延伸控制實驗，我們限制了合成算法僅對圖像的某些部分進行操作在每個神經網絡的cRF內。對於每一個目標神經部位（nM = 21，nN = 19，nS = 19），我們運行了五種不同的合成算法隨機圖像初始化。對於79％的神經網絡，合成算法成功找到至少預測至少一張圖像高於該網絡10％的自然觀察到的最大值放電率。但是，有興趣提出一個無偏估計的延伸控制隨機抽樣V4神經位點的優勢，我們在分析中包括了所有網絡，甚至那些（~20％）即控制算法預測它無法延伸。視覺檢查提示五個延伸控制器算法為每個神經網絡生成的圖像網絡在感知上彼此更相似（見圖2和圖S1），但我們沒有物理量化這種相似性。
應用結果的一個例子是將控制圖像延伸到一個視網膜，猴子瞄準其中一個V4位點顯示在圖2A，以及所有測試圖像的ANN模型預測的該位點的反應。更接近目視檢查這個神經網絡的“最佳”自然和複雜曲率圖像網絡的cRF（圖2A，頂部）表明它可能是對角度的存在特別敏感，導致中間的凸曲率和左下側形成一組中心圓。這樣的刺激與V4使用中的廣泛系統工作是一致的，它表明我們成功定位了cRF，並調整了我們的激勵演示，以最大限度地提高發電率。有趣的是，但是，我們發現所有五種合成延伸控制圖像（紅色）驅動神經反應在每個自然狀態下測試的回應和每個響應之上覆雜曲率的刺激，在圖像（藍色）中呈現cRF（紫色）（圖2A）。
圖2.各個神經部位的最大驅動力（延伸）。 （A）結果例如成功的拉伸控制測試。 標準化活動水平顯示所有自然圖像的目標V4神經網站（藍色點），復曲率刺激（紫色點）和五個合成拉伸控制器圖像（紅點）。 最好的駕駛圖像每個類別和感受野的縮放視圖顯示在最佳。 （B）響應自然主義（藍色）和三隻猴子每個神經部位的合成圖像（紅色）。調節器圖像合成受限於目標的感受野神經網站。 誤差線表示數據範圍。 （C）增加的直方圖在cRF限制合成的自然圖像的放電率圖片。 （D）複雜曲率上的發射率增加的直方圖刺激。 黑色三角形用黑色虛線標出中間線在所有測試的神經網站上得分。 紅色箭頭突出顯示放電率的增加在每個實驗中由控制器圖像實現。 N表示每個實驗中包含的神經網站數量。
為了量化這種延伸控制的優點，我們測量了神經反應五個合成圖像中的最佳圖像（再次通過重複演示交叉驗證）並將其與自然觀察到的圖像的最大發電率進行比較。我們找到延伸控制器成功成像並驅使68％的V4神經網絡超出其自然觀察到的最大值發電率（P
因為我們固定的一組自然圖像未優化為最大限度地驅動每個v4神經位點，我們考慮了延伸控制器只是重新發現圖像已知的像素排列，之前的系統工作還是v4的良好驅動力神經元。為了驗證這個假設，我們測試了19個v4位點（nm=11，ns=8），通過呈現，在每個神經部位的cRF中，每個部位370個複雜曲率形狀——一個刺激集之前已經證明包含圖像特徵，這些特徵在驅動v4神經元時非常有效。放在cRF內。因為我們也擔心固定的自然圖像集不能最大化內部中局部圖像對比度和每一個v4神經元的cRF，所有我們用一個匹配的對比度呈現出完整的曲線形狀。
與合成延伸控制器的對比圖像（圖S4）。有趣的是，我們發現每一個測試的神經位點，合成控制器圖像產生的發電率高於複雜曲率形狀（圖2d）。具體來說，當我們使用最大響應並在所有複雜的曲率形狀中作為參考時，我們發現中間延伸振幅更大（187%）。最大自然圖像僅僅作為參考（相同19個位點的73%）。總而言之，神經網絡驅動的延伸控制器結果表明像素能夠更好地驅動v4神經位點。
進一步檢驗簡單的圖像轉換也可以實現神經反應水平和由合成控制器圖像引出的一樣高，我們進行了模擬實驗以測試替代圖像電池的預測效果。首先，要調查是否只需要減少對周圍抑制效應的評估就可增加位點對其最佳自然圖像的預測響應。此外，我們調整了對比度裁剪圖像以匹配平均對比度，得到該位點的合成圖像（也是在位點內的測量結果）。在所有測試現場，我們發現對中間延伸控制增益比原始環境下使用這些新生成的圖像要低14%（n=59個位點；見圖S7）。為了進一步探索，我們優化了的裁剪區域的大小和位置。使用該程序獲得的延伸控制增益為0.1%低於原始自然圖像。其次，我們測試了響應優化最佳自然狀態下的仿射變換圖像（位置、比例、旋轉）。第三，從自然的多種特徵中獲得的能量顯示在cRF中，在測試過程中，每個位點最好有兩到五張圖片。其中每一個的預測延伸控制增益操縱仍然遠遠低於實現的與合成控制器圖像。綜上所述，我們發現達到了伸展控制的能力是不平凡的。即使在高對比度的情況下也能通過複雜的曲率特徵實現，自然圖像的簡單轉換，結合良好的自然圖像，或優化圖像的空間範圍。
單熱神經元群控制：在多個v4神經位點中只激活一個神經元
與先前的單一單位視覺神經生理學研究相似，延伸控制實驗試圖優化每一項反應。單獨的v4神經位點，不考慮其餘的神經元群。但是，神經網絡模型有可能實現更豐富的種群控制形式，在這種控制方式中，每個神經位點都可能獨立控制。作為第一次測試，我們要求合成算法生成控制器圖像，目標是隻驅動一個神經位點的高度響應，同時在其他記錄的神經位點中保持低度反應。
我們嘗試了一種對所有位點都同時記錄的方式（實驗1，n=38在猴子M中；實驗2，在猴子S中n=19）。具體來說，我們隨機選擇一部分神經位點作為“目標”位點（14個在猴子M中，19個在猴子S中）。我們問了合成算法生成五一熱人口控制器每個位點的圖像（即33個測試每個測試都試圖最大化抑制活動時一個位點的活動在同一只猴子的所有其他測量點中）。對於這些控制測試，我們允許控制器優化整個8°像素的算法直徑圖像（包括所有記錄的神經位置；參見圖3），然後我們應用了一個神經元群控制器圖像對猴子的視網膜進行評估控制。合成過程預測了對於77%的的神經元群，Softmax得分至少為0.5（作為參考，最大SoftMax分數為1，僅當目標神經位點是活動的，所有非目標神經位點都是完全不活動的；參見圖3a，SoftMax分數接近0.3）。
圖3.神經群控制。我們合成了控制器圖像旨在將神經群體設置為單熱狀態（OHP），其中一個目標神經網站是活躍的，所有其他記錄的神經網站都被抑制。（A）兩個示例OHP實驗（左和右）。在每種情況下，神經記錄的每個經過驗證的V4位點（見方法）的活動繪製神經群（大多數具有重疊的cRF）與目標箭頭指示的V4位點（深藍色或紅色）。請注意，回覆是在標準化器圖像上單獨標準化以並排放置比較有意義的反應（見方法）。第一行：活動最好的模式（OHP控制意義上的“最佳”;參見方法）自然主義形象。底行：生成活動模式通過視網膜應用ANN模型合成的控制器圖像。紅色虛線橢圓標誌著延伸的感受野（2 SD）每個位點。誤差棒表示95％置信區間。（B）最佳合成和自然圖像的控制分數的分佈對於所有33個OHP全圖像控制器實驗（nM = 14，nS = 19）。 控制分數使用交叉驗證計算（參見方法）。 誤差棒表示數據範圍。 （C）OHP控制增益的直方圖（即，對於（B）中的結果，對自然圖像的改進）; （i）和（ii）表明對應於（A）中所示的示例實驗的分數。 （D）相同實驗數據為（C），除了分析所選擇的亞種群所有位點都有高度重疊的cRF [見下文（C）至（E）中的cRF; 黑色，猴子M; 藍色：猴子S]。 （E）OHP控制增益，增益相對於共享cRF中最好的複雜曲率刺激和控制器算法也僅限於在共享的cRF中操作（n = 14個OHP實驗）。 在（C）至（E）中，N表示數量每個環境中的實驗; 紅色箭頭突出顯示控制中位數增益（黑色三角形）在每種情況下都實現了。
雖然一個單熱神經元群控制器圖像並沒有達到最佳預測狀態。但我們發現控制器圖像通常能夠在未生成的目標位點大幅增加（相對於自然圖像；參見圖3a中的示例）。我們計算了一個神經元群控制的反應評分以及每個神經元群的活動概況（SoftMax分數），並將分數呈現到自然圖像結果（即沒有神經網絡模型的合成算法）。我們取了這些的比例兩個分數作為改善一個熱門人群控制的衡量標準，我們發現控制器改進了57％。
神經元群控制的結果在cRF算法中不重疊，我們認為，允許神經元簡單地通過獨立控制限制每個位點的圖像對比能量。為了測試這種可能性，我們分析了測量的神經元群的子樣本，所有位點在cRF算法中高度重疊。（圖3D）。 我們考慮過猴子M的神經元群大小為10，猴子S的大小為8。 總的來說，我們進行了實驗在兩隻猴子的12個目標神經網站上猴子M和八隻猴子S並找到了改善控制的幅度仍然是40%（圖3d）。因此，改進控制很大一部分是特定空間的結果，該結果是由多個v4神經共享的視網膜輸入區內的光功率排列，人工神經網絡模型隱式捕獲這些位點並預測和恢復綜合算法。
另一個對一個單熱神經元群控制的實驗，我們限制了控制合成僅在圖像像素上操作的算法在具有重疊cRF的子群體中所有神經網站的共享cRF（圖3E）。我們用復曲率來實現內部cRF合成神經元群的控制形狀，因為先前的實驗與這些刺激也被設計為僅使用cRF內的像素來操縱V4反應。我們發現對於同一組神經位點合成控制器圖像產生了非常大的控制收益（中位數112％;圖3E），對照得分顯著高於最佳複雜曲率刺激86％的神經網絡。
神經網絡腦模型的功能保真度是否可擴大運用為新圖像？
除了測試非侵入性因果神經控制外，這些實驗還旨在詢問神經網絡模型是否比先前的研究更能通過對大腦功能相似性的測試，具體來說就是這個模型與大腦的相似性是否能擴大運用為全新的圖像。由於控制器圖像是從隨機像素排列中重新合成的，並且經過優化以驅動v4神經位點的向上（目標）和向下（一個遠離目標的熱群）的發射率，因此我們認為它們是一組潛在的新的神經調製圖像，遠離自然圖像。我們通過證明合成圖像在統計上，任何自然圖像的相似性確實低於自然圖像本身來量化和確認這種新穎性概念。
為了確定v4預測模型概括這些新的合成圖像有多好，我們使用與之前工作相同的相似性方法，將每個神經站點的預測響應與每個測試的合成圖像與實際的神經反應進行比較，但現在要匹配的參數為零。也就是說，一個好的大腦相似性評分的模型要求每個v4神經位置的神經網絡預測模型準確預測神經位置對所有合成圖像的響應，這些合成圖像與我們訓練神經網絡（照片）時使用的圖像非常不同，也與用於將神經網絡“v4”位置映射到單個v4神經位置（自然圖像）的圖像非常不同。
與上述控制結果一致，我們發現神經網絡模型解釋了一組合成圖像的可解釋方差的54%，儘管該模型在許多情況下高估了神經對合成刺激的反應，並且模型對大腦的相似性評分比對自然圖像的反應（89%）的評分要低一些，但該模型仍然預測了很大一部分方差，因為所有參數都是固定的，以得到這些“脫離自然領域”的圖像預測。儘管它仍然不是一個完美的表現模型，但是我們認為這是目前為止對腹側流神經網絡模型泛化的最有力的檢驗，並且它再次表明該模型的內部神經表示與大腦的中間腹側流表示（v4）非常相似，我們還注意到，由於合成圖像是由模型生成的，因此我們無法評估完全“超出模型域”的圖像預測的準確性。
我們如何解釋這些結果？
我們的結果表明，一個深度神經網絡驅動的控制器方法可以使大多數v4神經位點的觸發率超過自然發生的水平，並且具有重疊接收場的v4神經位點可以部分但還不能完全獨立地控制。在這兩種情況下，我們都表明這種控制的優點是前所未有的，因為它優於沒有人工神經網絡的控制。最後，我們發現，在完全沒有參數調整的情況下，神經網絡模型可以適度地推廣（54%），來預測v4對合成圖像的響應，這些合成圖像與用於調整神經網絡突觸連通性的真實照片截然不同，並將神經網絡的“v4”映射到每個v4神經位置。我們相信這些結果是迄今為止對腹側流深神經網絡模型的最有力的檢驗。
基於休博爾和維瑟的工作，視覺神經科學研究所將對大腦如何代表外部視覺世界的理解與對什麼樣的刺激能使每個神經元做出最大反應的理解緊密地等同起來。確實，事實上，教科書和最近重要的研究結果告訴我們，v1神經元被調諧到定向條上，v2神經元被調諧到自然圖像中v1神經元的相關組合上，v4神經元被調諧到二維和三維的複雜曲率形狀上，並被調諧到邊界信息上，而顳下（it）神經元則對複雜的類對象圖案，包括臉和身體這種特殊情況。雖然建立一個堅實的基礎和神經元在編碼視覺信息的作用的直覺是必不可少的，但是我們的研究結果說明了他們可以怎樣進一步優化現有的和未來的人工神經網絡模型的腹流。例如，我們發現，通過在一個相對較大的自然圖像空間（n=640）和複雜的曲率刺激（n=370）中搜索，只有少數圖像的合成導致了比可能的更高的神經響應水平。這表明，即使現在的神經網絡模型顯然還不完善，也已經賦予我們新的能力，使我們能夠以更精細的粒度為每個神經站點找到更為優化的刺激流形，並發現不受人類直覺和人類語言限制的刺激（參見圖S1中的示例）。這在視覺層次的中後期（如v4和IT皮層）尤為重要，因為神經元的反應複雜性和更大的接收場使得人工搜索難以接受。
根據這些結果，對於本研究開始時提出的兩個重要的對今天的神經網絡模型的評論（理解和普遍性），我們現在能說些什麼呢？在我們看來，結果很大程度地緩和了這兩種批評評論，但並沒有消除它們。對理解的一個重要考驗是，如我們已經證明的那樣，運用知識來更好地控制世界上感興趣的事物的能力；然而，我們承認這不是唯一可能的觀點，還有許多其他關於“理解”的概念有待探索，以瞭解這些模型是否以及如何增加價值。在一般性方面，我們發現，即使是今天的神經網絡模型也能很好地概括出明顯新穎的圖像，因此我們相信這些結果為那些認為當前的神經網絡模型在其能夠準確覆蓋的圖像範圍內極為狹窄的批評關上了大門。然而，我們注意到，雖然在泛化測試中成功預測了54%的可解釋方差，但這比在“接近”映射圖像（但與映射圖像不相同）的圖像中發現的89%可解釋方差要低一些。這不僅再次確認了這些大腦模型尚不完善，而且還表明，對每個大腦區域的模型相似性的單一度量標準不足以描述和區分替代模型。相反，在不同的泛化“距離”下進行多個相似性測試是有用的，正如我們可以想象的那樣，未來的模型在從測試圖像“接近”訓練和映射分佈（通常是照片和自然圖像）到“遠”（例如合成圖像）的過程中，成功預測的方差減少較少。像這裡使用的那些）到“非常遠”的TIC圖像，例如甚至不能在當前模型的指導下合成的圖像，因此仍然沒有在這裡進行測試。
從應用的角度來看，這裡給出的結果表明，現在腹側流的神經網絡模型已經可以用於改善無創人群控制（如圖4）。但是，控制結果很明顯尚不完善。例如，在單熱神經元群控制中，我們不能在完全抑制“非目標”神經站點的每一個響應的同時保持目標神經站點活動（參見圖3和4）。事後分析表明，我們可以部分預測哪些非目標位置最難被抑制：它們通常（也不奇怪）是與目標位置具有高度響應相似性的位置（r=0.49，p
考慮合成算法：直觀地說，每個特定的神經站點可能對許多圖像特徵敏感，但可能每個站點只對其他神經站點不敏感的一些特徵敏感。這種直覺與觀察結果一致，使用當前的神經網絡模型，我們的綜合算法在單熱神經元群設置中比在拉伸設置（單熱神經元群優化通常需要兩倍以上的步驟來找到一個合成圖像，預測該合成圖像將驅動目標神經站點響應達到與拉伸設置相同的水平）中更難找到好的控制器圖像，並且對圖像的視覺檢查表明，單熱神經元群圖像具有較少的可識別“特徵”（圖5）。隨著要控制的神經群體的規模增加，實現完全獨立控制可能變得越來越困難，但這是一個開放的實驗問題。
考慮當前的神經網絡模型：我們的數據表明，未來改進的神經網絡模型可能會使控制更為有效。例如，更好的神經網絡v4群族預測模型通常能更好地控制該v4群族（圖5）。有一件事已經很清楚了：腹側視覺流的改進的人工神經網絡模型已經導致了對以前無法達到的高級神經元群的控制。隨著腹側流神經網絡模型的逼真度的不斷提高，本文的研究結果很可能只觸及了大腦神經網絡的這些已實現的特徵的表面。
本文轉載自其他網站，不代表健康界觀點和立場。如有內容和圖片的著作權異議，請及時聯繫我們（郵箱：[email protected]）
閱讀更多 健康界 的文章
