MOOC是2011年末從美國硅谷發端起來的在線學習浪潮。這股浪潮不僅開啟了學生參與在線課堂的新紀元，也開拓了一個新的科學研究領域——MOOC研究。科學家們系統藉助來自MOOC的海量數據和在課程中加入實驗的機會探究關於“學習”的一切。

在最近一期的《名學》雜誌上，哈佛大學教育學院的賈斯汀·雷奇（Justin Reich）發表了評論文章，強調隨著MOOC的推廣深化，對MOOC進行的研究也需要開始必要的轉變。怎樣提高學習效果，怎樣的課程設置更有效率？要弄清這些問題，MOOC研究者需要設計更完善的研究體系。

在edX首席執行官阿南特·阿格瓦爾（Anant Agarwal）看來，大型開放式網絡課程（Massive Open Online Courses，簡稱MOOC）應當成為“學習的粒子加速器”[1]。近幾年，隨著MOOC越來越受到人們的關注，圍繞“學習”展開的新的研究方向也隨之起步。然而，這些研究的結果對教學幾乎沒有什麼啟發——大數據並不會因為“大”就能回答我們感興趣的問題。

要讓對MOOC研究切實推動與學習有關的科學發展，研究人員、課程開發者和其他主導人員需要在3個方向上進行改進：從對參與度的研究轉移到對學習本身的研究；從對個別課程的研究轉向跨背景的對比研究，從事後分析（post hoc analysis）轉向多學科實驗設計。

是學習，還是隻是點擊？

目前能闡述什麼教學措施能如何改善學習效果的MOOC研究少之又少。我們有TB級的海量數據告訴我們學生在線上點選了什麼，但對於學生的大腦發生了什麼變化，我們幾乎一無所知。

以在線學習平臺Udacity、可汗學院（Khan Academy）、谷歌課程開發者（Google Course Builder）和edX分別進行的4個研究作為例子[2-5]，它們每個研究都評估了學生的行動和學習效果（比如測試得分或課程完成率）之間的相關性。這4項研究都採取相似的處理方式來衡量學生的行為，將海量數據歸結成一個簡單的、個體水平的彙總變量，諸如嘗試解答習題的數量（Udacity）、網站訪問時長（可汗學院）、每週任務完成量（谷歌）或事件日誌上每個學生的點擊次數（edX）。在這些平臺進行的研究中，學習者行為的複雜性被丟失了[6]。通過簡單的對比或線性迴歸，這4項研究得出相同的結論：學習者的活躍程度與他們的學習成果呈正相關。

但我們並不需要上萬億事件日誌來證明努力與成功相關。“學得更多”和“學得更好”之間的因果聯繫仍然不明確。除了告誡學生更積極地參與學習，它們並沒有為課程設計提供什麼實用的建議。新一代的MOOC研究需要採用更多樣化的研究設計，更深入地探尋能促進學生學習的原因。

看視頻不等於學習

早期MOOC研究只關注學生的參與度和課程完成率的原因之一在於大多數MOOC課程並不具備合適的考核框架來支持學習研究。在理想情況下，MOOC研究人員掌握的考核數據應該具備3個特徵。

首先，考核應該在多個不同的時間進行。在MOOC課程中，課前測試至關重要。要知道，課程參與者的知識背景五花八門，既有新手，也有領域的專業人士[7]。其次，考核數據應該覆蓋學習過程的多個方面，在量化測試中得到高分的學生經常通常在概念理解或專業思維方面停滯不前[8]。最後，課程包含的考核方式應該是已被研究證實有效的，以便與其他設置下的教學效果進行對比。

近期的一些MOOC研究已經達到了這些要求，它們幫助我們理解哪些學習者從MOOC中受益最多，哪些教學材料對學習最有幫助[9]。在自願參與的在線學習中，區分“參與”和“學習”尤其至關重要[10]。想要糾正錯誤的觀念，我們得跨過直覺和科學事實之間的鴻溝。

遺憾的是，學習者也許更喜歡看視頻——它們用更簡單的方式來展示課程材料。儘管學生能通過直接消除誤解的媒介學習到更多，但他們對教學錄像的評價更為積極，因為它們直觀地描述了現象[11]。收集學生的參與度數據可能使追求參與度的課程開發人員創造出令人愉悅的媒體體驗，但是，讓學生目不轉睛地觀看視頻，並不意味著他們能學到東西。

新一代的MOOC研究需要撥開淺表的參與度數據去探索學習者實際的學習過程，以對這個過程進行優化。

重新思考數據共享

另一個問題在於學生的數據共享。保護學生隱私的規章制度、數據保護方面的考慮和壟斷數據的趨勢都阻止了數據的共享。研究人員雖然能夠分析（同一門課程中）學生之間的差異，卻無法對不同課程的差異進行對比。例如，奈斯特克（Nesterko）等人在研究中發現，課程中段的作業提交頻率與MOOC完成率之間存在著的正相關[12]，但是他們研究的10門課程中不僅作業提交期限安排不同，在課程註冊人數、課程內容和其他方面上也存在著差異。要對教學方法進行有意義的事後分析，來自數百門課程的數據必不可少。

但共享學習者數據並不是一件簡單的事情。最近的一些研究對數據進行去個人特徵處理，以保護學生隱私，發現如果要保證學生身份不外洩，所需的模糊處理會大大扭曲數據，導致它再也無法滿足研究的各種需求[13]。要實現以科研為目的的MOOC數據共享，大量的政策需要做出調整，同時開發出社會科學數據共享方面新技術。

其中一項舉措可以是將隱私保護與匿名數據分離，即允許研究人員共享身份數據，只是對科研人員的數據保護體系進行更嚴格的監管。技術方面的解決方案之一是差別隱私（differential privacy），即讓機構以標準化的格式保存學生數據，這種格式允許研究人員查詢數據庫，但只輸出一個統合的結果。

超越A/B測試

由於缺乏跨課程對比的數據，實驗設計只能侷限在評估具體教學方法的有效性。在最早的MOOC課程中，研究人員加入了A/B測試（譯者注：A/B測試是指同一目標設置單變量的兩個方案，對比測試兩種方案的實施效果）和其他實驗性設計[14][15]。其中最常見的實驗干預是領域普適的內置測試。舉個例子，一項研究在MOOC討論區中設置勳章系統，在討論區表現活躍的學生能夠得到虛擬的勳章[16]。學生們被隨機分組，在勳章設置不同的論壇學習，其中一些論壇激發了更多的論壇活動。

這項實驗是在一門機器學習課程中進行的，但它也可以在美國文學或生物課程中開展。這些具有領域普適性的實驗在MOOC研究中得到了廣泛的應用。然而，這種普適性也有侷限：這些研究無法推動學科學習的科學向前發展，也無法得到最優化的學習順序，找出最好的解惑方式。

在設計優良的課程中激發學習者的動機無疑是件好事，但如果一門MOOC課程的整體教學手段是錯的，那麼內置實驗只會增加學習者所做的無用功。基於具體學科設計的教學研究能夠探索MOOC中該學科的學習機制，它們也許是有效進行普適學科研究的先決條件。

為了對教學措施進行評估，授課教師費舍爾（Fisher）在教“版權”這門課時將學生分配到兩個課程中，一個課程基於美國的判例法設計，另一個則主要研究全球版權問題[17]。他採用期末考試評分、學生調查、助教反饋來評估課程效果，並得出研究結論：相比研究全球性的問題，對單一版權制度進行深入探索對學生的幫助更大。這個結論對法律方面的在線教育提供了可行的措施。

隨著MOOC研究走向成熟，特定領域和領域普適的研究都很重要，但特定領域的研究可能需要付出更多的努力。內置實驗更容易融入學術界結構，而專注特定領域的研究則需要一個跨學科的團隊，包括內容專家、評估專家和教學設計人員，但這方面的人才持續短缺[18]。更復雜的MOOC研究需要來自教育機構的支持才能開展，包括大學和資助機構。

提高研究門檻

對最早的一批MOOC課程來說，能讓數百萬的人得到基本的課程材料無疑是一個成就；而對最早的一批MOOC研究人員來說，能純化數據用於分析也是個成就。在早期階段，朝阻力最小的方向探索是一個很明智的做法，但這樣也可能使研究產生“慣性”，冒著一條路走到黑的風險。

對於MOOC這樣一個年輕的研究領域來說，使用參與度數據、使用來自個別課程的數據、使用簡單的內置測試都是合理的實驗設計策略。但是，如果要讓這個領域繼續發展，研究人員需要克服那些被早期研究迴避掉的問題。這些問題不能光靠研究人員個人來解決。要改善MOOC研究，需要大學、投資機構、期刊編輯、會議組織者和課程開發人員的共同努力。

大學應該優先考慮那些為解決某領域教學的基本問題而設計的課程。期刊編輯和會議組織者應該優先發布跨機構的、探討學習效果的研究，而非只關注參與度指標；應重點關注設計研究和實驗設計，而非只著眼於事後分析。投資機構應該遵循以上的優先原則，為有潛力改變教育開放科學的創業機構提供支持。