「科研」好的研究想法從哪裡來

作者：清華大學劉知遠老師
知乎專欄：NLP日知錄

背景說明：臨近ACL 2020投稿截止時間，跟同學密集討論，爭論哪些研究想法適合投到ACL有機會命中。從自己十多年研究經歷來看，如何判斷一個研究想法好不好，以及這些研究想法從哪裡來，對於初學者而言的確是個難題。所以，簡單攢了這篇小短文，分享一些經驗和想法，希望對剛進入NLP領域的新同學有用。多有舛誤請指正。

王家衛的電影《一代宗師》中有段經典的比武橋段，宮會長對葉問說“今天我們不比武術，比想法”。其實，好的點子或者想法（idea），也是一篇優秀研究成果的靈魂。而計算機領域流行著一句話“IDEA is cheap, show me the code”，也說明對於重視實踐的計算機學科而言，想法的好壞還取決於它的實際效能。這裡就來談下好的研究想法從哪裡來。

什麼算是好的想法

2015年，我在微博上寫過一個調侃的小段子：

ML派坐落美利堅合眾山中，百年來武學奇才輩出，隱然成江湖第一大名門正派，門內有三套入門武功，曰：圖模型加圈，神經網加層，優化目標加正則。有童謠為證：熟練ML入門功，不會作文也會謅。

到了2018年，我又續了一小段：

不期數年，北方DL神教異軍突起，內修表示學習，外練神經網絡，心法眾多，曰門，曰注意，曰記憶，曰對抗，曰增強。經ImageNet一役威震武林，豢Alpha犬一匹無人可近。一時家家築丹爐，人人煉丹忙，門徒雲集，依附者眾，有一統江湖之勢。有童謠為證：左手大數據，右手英偉達，每逢頂會煉丹忙。

這裡面提到的圖模型加圈、神經網絡加層、優化目標加正則，神經網絡中的門、注意、記憶等，都是一些改進模型性能的創新思路，被各大NLP任務廣泛使用並發表論文，也許就是因為被不同NLP任務的重複使用和發表，多少有些審美疲勞而缺少更深的創新思想，被有些網友和學者詬為“灌水”，似乎都不算好的想法。

那麼什麼才是好的想法呢？我理解這個”好“字，至少有兩個層面的意義。

學科發展角度的”好“

學術研究本質是對未知領域的探索，是對開放問題的答案的追尋。所以從推動學科發展的角度，評判什麼是好的研究想法的標準，首先就在一個“新”字。

過去有個說法，人工智能學科有個魔咒，凡是人工智能被解決（或者有解決方案）的部分，就不再被認為代表“人類智能”。計算機視覺、自然語言處理、機器學習、機器人之所以還被列為人工智能主要方向，也許正是因為它們尚未被解決，尚能代表“人類智能”的尊嚴。而我們要開展創新研究，就是要提出新的想法解決這些問題。這其中的”新“字，可以體現在提出新的問題和任務，探索新的解決思路，提出新的算法技術，實現新的工具系統等。

在保證”新“的基礎上，研究想法好不好，那就看它對推動學科發展的助力有多大。深度學習之所以擁有如此顯赫的影響力，就在於它對於人工智能自然語言處理、語音識別、計算機視覺等各重要方向都產生了革命性的影響，徹底改變了對無結構信號（語音、圖像、文本）的語義表示的技術路線。

研究實踐角度的”好“

那是不是想法只要夠”新“就好呢？是不是越新越好呢？我認為應該還不是。因為，只有能做得出來的想法才有資格被分析好不好。所以，從研究實踐角度，還需要考慮研究想法的可實現性和可驗證性。

可實現性，體現在該想法是否有足夠的數學或機器學習工具支持實現。可驗證性，體現在該想法是否有合適的數據集合和廣泛接受的評價標準。很多民間科學家的想法之所以得不到學術界的認同，就是因為這些想法往往缺乏可實現性和可驗證性，只停留在天馬行空的紙面，只是些虛無縹緲的理念。

好的研究想法從哪裡來

想法好還是不好，並不是非黑即白的二分問題，而是像光譜一樣呈連續分佈，因時而異，因人而宜。計算機科技領域的發展既有積累的過程，也有躍遷的奇點，積累量變才會產生質變，吃第三個饅頭飽了，也是因為前面兩個饅頭打底。

現在的學術研究已經成為高度專業化的職業，有龐大的研究者群體。”Publish or Perish“，是從事學術職業（如教授、研究員、研究生）的人必須做好平衡的事情，不能要求研究者的每份工作都是“諾貝爾獎”或“圖靈獎”級的才值得發表。只要對研究領域的發展有所助力，就值得發表出來，幫助同行前進。魯迅說：天才並不是自生自長在深林荒野裡的怪物，是由可以使天才生長的民眾產生，長育出來的，所以沒有這種民眾，就沒有天才。這個龐大研究者群體正是天才成長的群眾基礎。同時，學術新人也是在開展創新研究訓練中，不斷磨礪尋找好想法能力，魯迅也說：即使天才，在生下來的時候的第一聲啼哭，也和平常的兒童的一樣，決不會就是一首好詩。

那麼，好的研究想法從哪裡來呢？我總結，首先要有區分研究想法好與不好的能力，這需要深入全面瞭解所在研究方向的歷史與現狀，具體就是對學科文獻的全面掌握。人是最善於學習的動物，完全可以將既有文獻中不同時期研究工作的想法作為學習對象，通過了解它們提出後對學科發展的影響——具體體現在論文引用、學術評價情況等各方面——建立對研究想法好與不好的評價模型。我們很難條分縷析完美地列出區分好與不好想法的所有特徵向量，但人腦強大的學習能力，只要給予足夠的輸入數據，就可以在神經網絡中自動學習建立判別的模型，鑑古知今，見微知著，這也許就是常說的學術洞察力。

做過一些研究的同學會有感受，僅閱讀自己研究方向的文獻，新想法還是不會特別多。這是因為，讀到的都是該研究問題已經完成時的想法，它們本身無法啟發新的想法。如何產生新的想法呢？我總結有三種可行的基本途徑：

實踐法。即在研究任務上實現已有最好的算法，通過分析實驗結果，例如發現這些算法計算複雜度特別高、訓練收斂特別慢，或者發現該算法的錯誤樣例呈現明顯的規律，都可以啟發你改進已有算法的思路。現在很多自然語言處理任務的Leaderboard上的最新算法，就是通過分析錯誤樣例來有針對性改進算法的 [1]。

類比法。即將研究問題與其他任務建立類比聯繫，調研其他相似任務上最新的有效思想、算法或工具，通過合理的轉換遷移，運用到當前的研究問題上來。例如，當初注意力機制在神經網絡機器翻譯中大獲成功，當時主要是在詞級別建立注意力，後來我們課題組的林衍凱和沈世奇提出建立句子級別的注意力解決關係抽取的遠程監督訓練數據的標註噪音問題 [2]，這就是一種類比的做法。

組合法。即將新的研究問題分解為若干已被較好解決的子問題，通過有機地組合這些子問題上的最好做法，建立對新的研究問題的解決方案。例如，我們提出的融合知識圖譜的預訓練語言模型，就是將BERT和TransE等已有算法融合起來建立的新模型 [3]。

正如武俠中的最高境界是無招勝有招，好的研究想法並不拘泥於以上的路徑，很多時候是在研究者對研究問題深刻認知的基礎上，綜合豐富的研究閱歷和聰明才智產生”頓悟“的結果。這對初學者而言恐怕還很難一窺門徑，需要從基本功做起，經過大量科研實踐訓練後，才能有登堂入室之感。

在科研實踐過程中，除了通過大量文獻閱讀了解歷史，通過深入思考總結產生洞察力外，還有一項必不可少的工作，那就是主動開放的學術交流和合作意識。不同研究領域思想和成果交流碰撞，既為創新思想提供了新的來源，也為”類比“和”頓悟“提供了機會。瞭解一下歷史就可以知曉，人工智能的提出，就是數學、計算機科學、控制論、信息論、腦科學等學科交叉融合的產物。而當紅的深度學習的起源，1980年代的Parallel Distributed Processing （PDP），也是計算機科學、腦認知科學、心理學、生物學等領域研究者通力合作的產物。下面是1986年出版的名著《Parallel Distributed Processing: Explorations in the Microstructure of Cognition》第一卷的封面。

作者在前言中是這麼講他們的合作過程的，在最初長達六個月的時間裡，它們每週見面交流兩次討論研究進展。

We expected the project to take about six months. We began in January 1982 by bringing a number of our colleagues together to form a discussion group on these topics. During the first six months we met twice weekly and laid the foundation for most of the work presented in these volumes.

而書中提供的PDP研究組的成員名單，40年後的今天仍讓我驚歎其高度的跨機構、跨學科的交叉特點。所以，特別建議同學們在科研訓練中，在專注研究問題的前提下，保持主動的學術交流意識，無論是聽講座報告，參加學術會議，還是選修課程，都有意識地擴寬學術交流的廣度，不僅與小同行打成一片，更有看似八竿子打不著的研究領域的學術夥伴。隨著研究經歷的豐富，會越來越強烈地感受到，越是大跨度交叉的學術報告，越讓你受到更大的啟發，產生更多讓自己興奮的研究想法。

初學者應該怎麼做

與閱讀論文、撰寫論文、設計實驗等環節相比，如何產生好的研究想法，是一個不太有章可循的環節，很難總結出固定的範式可供遵循。像小馬過河，需要通過大量訓練實踐，來積累自己的研究經驗。不過，對於初學者而言，仍然有幾個簡單可行的原則可以參考。

一篇論文的可發表價值，取決於它與已有最直接相關工作間的Delta。我們大部分研究工作都是站在前人工作的基礎上推進的。牛頓說：如果說我看得比別人更遠些，那是因為我站在巨人的肩膀上。在我看來，評判一篇論文研究想法的價值，就是看它站在了哪個或哪些巨人的肩膀上，以及在此基礎上又向上走了多遠。反過來，在準備開始一項研究工作之前，在形成研究想法的時候，也許要首先明確準備站在哪個巨人的肩膀上，以及計劃通過什麼方式走得更遠。與已有最直接相關工作之間的Delta，決定了這個研究想法的價值有多大。

兼顧摘果子和啃骨頭。人們一般把比較容易想到的研究想法，叫做Low Hanging Fruit（低垂果實）。低垂果實容易摘，但同時摘的人也多，選擇摘果子就容易受到想法撞車的困擾。例如，2018年以BERT為首的預訓練語言模型取得重大突破，2019年中就出現大量改進工作，其中以跨模態預訓練模型為例，短短几個月裡arxiv.org上掛出了超過六個來自不同團隊的圖像與文本融合的預訓練模型 [4]。設身處地去想，進行跨模態預訓練模型研究，就是一個比較容易想到的方向，你一定需要有預判能力，知道世界上肯定會有很多團隊也同時開展這方面研究，這時你如果選擇入場，就一定要做得更深入更有特色，有自己獨特的貢獻才行。相對而言，那些困難的問題，願意碰的人就少，潛下心來啃硬骨頭，也是不錯的選擇，當然同時就會面臨做不出來的風險，或者做出來也得不到太多關注的風險。同學需要根據自身特點、經驗和需求，兼顧摘果子和啃骨頭兩種類型的研究想法。

注意多項研究工作的主題連貫性。同學的研究訓練往往持續數年，需要注意前後多項研究工作的主題連貫性，保證內在邏輯統一。需要考慮，在個人簡歷上，在出國申請Personal Statement中，或者在各類評獎展示中，能夠將這些研究成果彙總在一起，講出自己開展這些研究工作的總目標、總設想。客觀上講，人工智能領域研究節奏很快，技術更新換代快，所以成果發表也傾向於小型化、短平快。我有商學院、社科的朋友，他們一項研究工作往往需要持續一年甚至數年以上；高性能計算、計算機網絡方向的研究週期也相對較長。人工智能這種小步快跑的特點，決定了很多同學即使本科畢業時，也會有多篇論文發表，更不用說碩士生、博士生。在這種情況下，就格外需要在研究選題時，注意前後工作的連貫性和照應關係。幾項研究工作放在一起，到底是互相割裂說不上話，還是在為一個統一的大目標而努力，格外反映研究的大局意識和佈局能力。例如，下圖是我們課題組塗存超博士2018年畢業時博士論文《面向社會計算的網絡表示學習》的章節設置，整體來看就比《社會計算的若干重要問題研究》等沒有內在關聯的寫法要更讓人信服一些。當然，對於初學者而言，一開始就想清楚五年的研究計劃，根本不可能。但想，還是不去想，結果還是不同的。

注意總結和把握研究動態和趨勢，因時而動。2019年在知乎上有這樣一個問題：”2019年在NLP領域，資源有限的個人/團隊能做哪些有價值有希望的工作？“ 我當時的回答如下：

我感覺，產業界開始集團化搞的問題，說明其中主要的開放性難題已經被解決得差不多了，如語言識別、人臉識別等，在過去20年裡面都陸續被廣泛商業應用。看最近的BERT、GPT-2，我理解更多的是將深度學習對大規模數據擬合的能力發揮到極致，在深度學習技術路線基本成熟的前提下，大公司有強大計算能力支持，自然可以數據用得更多，模型做得更大，效果擬合更好。

需要看到，不同時期的研究動態和趨勢不同。把握這些動態和趨勢，就能夠做出研究社區感興趣的成果。不然的話，即使研究成果沒有變化，只是簡單早幾年或晚幾年投稿，結果也會大不相同。例如，2013年word2vec發表，在2014-2016年之間開展詞表示學習研究，就相對比較容易得到ACL、EMNLP等會議的錄用；但到了2017-2018年，ACL等會議上的詞表示學習的相關工作就比較少見了。

最後的補充

這篇短文，主要是希望面向初學者，介紹一些求新過程中的經驗和注意事項，希望大家少走一些彎路。但閱讀文獻，深入思考，接收拒稿不斷改進的苦，該吃的還是要吃。學術研究和論文發表，對個人而言也許意味著高薪資和獎學金，但其最終的目的還是真正的推動學科的發展。所以，要做經得起考驗的學術研究，關鍵就在”真“與”新“，需要我們始終恪守和孜孜以求。

著名歷史學家、清華校友何炳棣先生曾在自傳《讀史閱世六十年》中提及著名數學家林家翹的一句囑咐：“要緊的是不管搞哪一行，千萬不要做第二等的題目。” 具體到每個領域，什麼是一等的題目本身見仁見智，其實更指向內心“求真”的態度。

參考文獻

[1] paperswithcode.com/ & nlpprogress.com/

[2] Yankai Lin, Shiqi Shen, Zhiyuan Liu, Huanbo Luan, Maosong Sun. Neural Relation Extraction with Selective Attention over Instances. The 54th Annual Meeting of the Association for Computational Linguistics (ACL 2016).

[3] Zhengyan Zhang, Xu Han, Zhiyuan Liu, Xin Jiang, Maosong Sun, Qun Liu. ERNIE: Enhanced Language Representation with Informative Entities. The 57th Annual Meeting of the Association for Computational Linguistics (ACL 2019).

[4] https://github.com/thunlp/PLMpapers

The End

閱讀更多 AI小白入門 的文章

關鍵字: 國創上頭條 人工智能 電腦