成功就是不斷失敗，而不喪失熱情。

——溫斯頓·丘吉爾

從發展經濟學到政治科學，所有社會科學的研究者都要到實地中收集數據以加深對這個世界的理解。然而，大部分數據來自成功的隨機化控制實驗，很少有人提及失敗的項目。

耶魯大學的迪恩•卡爾蘭（Dean Karlan）和普林斯頓大學的雅各布•阿佩爾（Jacob Appel）總結了頂尖社會科學家在發展中國家的研究經驗，深入分析了實地研究中引起失敗的常見原因，這樣研究者就可以在未來的工作中避免類似的錯誤。

箴言1 你應該充分理解背景和干預，這種干預顯然應映射出似乎合理的理論變化。

思考你將在什麼地方、什麼時候、與誰一起開展實驗。確保這些設置符合你想要檢驗的核心思想或理論。瞭解當地的環境：此時此地，你的實驗在邏輯上可行嗎？在可能的情況下儘可能地進行預先實驗。要謹防在干預措施不成熟時就急於開展實地研究。

失敗案例1

印度金融和管理研究學會（IFMR）著眼於印度的小額貸款產品，研究包括借款人從供應商處購買小雞，撫養它們，再將成年雞賣給經銷商。一個安排緊湊的“時間表”就由此形成了，供應商和經銷商都要在預先設定的時間來到借款人的村莊，用平板貨車卸貨、裝貨。

但是小額貸款的軟件升級（與研究無關）花費了比預期更長的時間，進而把研究推遲到了印度夏季季風來臨時才開始。連日的大雨使得一些道路無法通行，擾亂了配送時間表，也讓客戶在第一步養雞就變得更加困難。這時研究已經明顯被推遲了，但研究者決定繼續進行研究——事後發現這是錯誤的。

箴言2 除了重要的細節（比如調查設計、調查時機、樣本大小和隨機化）之外，你還應該關注技術。

調查中問的每個問題都應該是有意義的。要注意，調查的許多細微特性（比如答案選項的多少和問題順序）都可能影響結果。被調查的對象（以及何時且如何進行調查）與你問的問題一樣重要。請再次檢查實驗設計、隨機分配和樣本選取的具體細節。

失敗案例2

下面的例子來自2012年在加納開展的研究項目。哈佛大學的岡瑟·芬克、耶魯大學的迪恩·卡爾蘭和克里斯·烏德利希望調查受訪者是否睡在經殺蟲劑處理過的蚊帳內，這是對抗瘧疾的關鍵預防措施。他們的調查問題如下：

Q1.你有經殺蟲劑處理的蚊帳嗎？

A.有

B.沒有（跳過Q2）

Q2.“你能帶我看下你的蚊帳嗎？”（調查員直接觀察受訪者的睡眠區域並選擇合適的選項進行記錄。）

A.其實他自己並沒有蚊帳

B.有一頂蚊帳，但沒有掛起

C.有一頂掛著的蚊帳

起初，這些選項看似是簡單而明確的，直到調查員在現場遇到了一個不符合任何選項的場景為止。原來，相當多的受訪者確實擁有蚊帳，並將它們掛在臥室，但是掛在門上，而不是掛在床上。調查員並不知道這種情況該選B還是C。

幸運的是，研究助理在調查的前幾天中發現了這個問題，研究團隊迅速給Q2添加了第四個答案選項。

箴言3 你需要有執行意願和執行能力的夥伴

實際參與研究總是比合作夥伴最初想象的要困難。要確保合作伙伴明白接下來要發生什麼。如果這項研究需要一些員工承擔額外的或不同的職責，應確保他們都接受了培訓並有足夠的時間執行該任務。要獲得所有執行人員（從高級管理人員到一線管理員和員工）的認同，也要知道什麼時候結束失敗的合作關係。

失敗案例3

2006年，耶魯大學和達特茅斯學院的研究者與加納小額信貸銀行合作，檢驗客戶對一系列利率的反應。研究使用了一個全新的個人貸款產品，它的申請程序比團體貸款更復雜，雖然團體貸款構成了銀行的大部分業務。參與研究的信貸員都是經驗豐富的申請核查員，而且他們也盡了全力。

然而，大多數信貸員已經處理了三百多個團體貸款的客戶，因而在不減少他們手上的其他工作的情況下，他們能所的非常有限。所以申請新貸款的人通常都要等待超過一個月的時間才能獲得批准，結果證明對客戶而言，拖延比利率的影響更大，雖然利率才是研究的焦點。

箴言4 要仔細地收集數據

認真決策在你的調查中引入技術以及使用多少技術；在實地中密切管理調查的過程；認真培訓並觀察調查員；獲得數據後堅持檢查和審計數據；在問題越積越多之前，迅速解決調查中的問題或調查員的問題。

失敗案例4

2013年春，斯坦福大學的一些學者在馬拉維研究儲蓄的影響。其中，底線調查需要完成一張很長的調查表，總共需要三個小時，各個模塊覆蓋不同的主題，從金融知識培訓項目到農業投入。

研究者雷切爾·利文森在實地調查中注意到一些奇怪的現象，所以進行審查式的重新調查。她發現一位調查員X在開始訪問45分鐘後，似乎完全結束了與受訪者的交談，但是繼續在他的筆記本上進行記錄。一段時間後X就離開了，所用時間遠少於預期的三個小時。

X的行為讓雷切爾覺得他在某種程度上偽造調查。他們回訪了X的許多受訪者，並對他加強審查。結果令人震驚，X的調查中只有36%是圓滿完成的。

箴言5 你必須把項目執行者預測的參與度降低一半，甚至更多。

不要假設人們會來報名參加項目或接受服務，即使他們看起來都應該報名。避免合作伙伴（或任何人）空口無憑的推測，無論何時都要儘可能地通過試點或其他辦法直接度量人們對干預措施的需求。確保有足夠的人能達到合格標準以便你能夠得到需要的樣本量。

失敗案例5

這個例子發生在2009年，聖安德烈大學的研究者與當地的信息技術研究實驗室LIFA合作，對接受高等教育的學生的新培訓計劃進行評估。研究者告訴LIFA他們需要找到90個有意願且有能力的學生，並隨機分配一半學生接受培訓，另一半接不接受培訓。

研究者在拉普拉塔大學校園內外張貼公開的招募傳單，邀請人們參加資格考試並簡要解釋了培訓課程和其他入選標準。當來參加選拔測試的人數超過90時，研究者感到高興。但看到分數時，他們就沒那麼高興了：只有一小部分學生的分數達到研究。他們又安排了兩次考試，但合格人數依然不夠。

在培訓開始之前參與者人數仍沒有達到要求，他們被迫放棄了這項研究。

對於有興趣深度挖掘的讀者，如果你想要成為實地研究者或要與實地研究者合作，我們強烈建議你進一步閱讀相關文獻，在IPA的網站上可以找到推薦的閱讀清單：http://www.poverty-action.org

最後且顯而易見的告誡是，這個檢查清單並非詳盡。除了我們提到的失敗外，還有很多種途徑會導致失敗，有許多是我們已經知道的，還有更多是尚未被發現的。

所有研究者都會經歷失敗。我們能期待的最後結果是減少由於可預見的或可避免的原因導致的失敗。巴爾基金會（Bar Foundation）主席吉姆·卡納萊斯（jim Canales）曾表示：“這不僅僅是避免做無謂的重複勞動，我們要確保我們不犯同樣的錯誤。”

（本文部分內容選自《失敗的價值》一書）

END

迪恩•卡爾蘭（Dean Karlan）與雅各布•阿佩爾（Jacob Appel）所著的《失敗的價值：從實地實驗的錯誤中獲益》已於2018年7月最新出版上市。

從發展經濟學到政治科學，所有社會科學的研究者都要到實地中收集數據以加深對這個世界的理解。然而，大部分數據來自成功的隨機化控制實驗，很少有人提及失敗的項目。本書的兩位作者深入分析了實地研究中引起失敗的常見原因，這樣研究者就可以在未來的工作中避免類似的錯誤。

本書總結了頂尖社會科學家在發展中國家的研究經驗，著眼於失敗的項目，有助於指導實踐者在未來開展他們自己的研究。從實驗設計和執行，到具體分析與合作協議，作者向我們展示了每一個階段我們能從失敗中學到的寶貴經驗。他們描述了五類常見的失敗，詳細回顧了六個案例，並總結了在設計和執行實地項目時的最優（和最差）操作方法，其中，重點關注隨機化控制實驗。通過探討這些之前從未被討論過的話題（從工作人員的誤解到數據收集中的錯誤），讀者將會從中獲益良多。

本書打破了長久以來的禁忌主題——研究執行中可能發生的錯誤，對於想要在發展的背景下開展實地研究和進行隨機化控制實驗的研究者而言，本書是非常有價值的關於“不應該做什麼”的指南。