DiVoMiner®權限免費升級！
學習話題增加配置2個編碼員權限！
可以免費組建您的研究團隊！
正式標準話題編碼員權限增加到6個！
團隊容量升級！
升級後的DiVoMiner®更強大！快來試試！
關於編碼員信度測試，小編前期已向各位介紹了，歡迎回顧！
→ 信度測試的基本知識（點擊回顧： ）
→信度測試的操作流程（點擊回顧： ）
但還是有用戶向我們反映，希望能提供信度測試更加詳盡的說明。今天呢，小編邀請三位同事作為編碼員進行案例話題的實操，以下將分享下在信度測試中常碰到的疑問（大坑），讓大家可以更快跨過這個小障礙。
疑問一：研究人員可接受的理想信度有沒有標準？
編碼員間的信度標準是什麼？取決於研究的需要，總的來說，研究人員可接受的誤差越大，信度就越低。根據研究經驗，客觀性類目，如人名、機構名等，信度結果要求較高；主觀性類目，如意見態度等，信度要求可相應適度放寬。
根據多數已發表的內容分析法研究結果顯示，當用Holsti's Coefficient Reliability（霍斯提信度測試）時，可接受信度在0.9或以上，而用Scott's pi等其他類型公式計算，可接受信度在0.75或更高。
目前平臺上提供了四種常用的信度指標選擇，但無論何種情況，研究員在正式報告中需要有合理的解釋。以下為四種常用信度指標的說明：
值得說明的是，Krippendorff' s alpha可測試兩位或以上編碼員的編碼結果是否具有一致性，也可測試同一位編碼員不同時間重複編碼的結果是否一致。
疑問二：做了信度測試未能達到理想值要怎麼處理？
小編選擇了【案例話題】幼兒園虐童事件危機公關，按照指引，在【編碼庫】-將測試數據【隨機導入到測試庫】，然後安排編碼員進行測試編碼。編碼完成後在【信度測試】中計算係數結果，再在【編碼跟蹤】裡查看編碼結果。
案例話題中的類目，已經是根據傳統的理論或經驗、研究成果進行了類目的設計，對於編碼，只要讓編碼員根據同一標準對資料進行編碼，然後計算編碼員間的信度，以達到防範研究者對數據產生的影響，保證編碼員對數據較為一致的處理，使研究結果更為客觀之目的。在採用Cohen's Kappa方法對編碼員間信度測試之後，小編髮現整體信度未能達到理想值，因此需要對問題進行定位。
首先，檢查是否有定義不當、定義不清的類目
在實踐中，有一種由研究人員根據假設自行設計的類目，那就存在很多不確定性，需要在編碼過程中進行類目的完善。因此建議研究人員在制定初步的類目基礎上，讓編碼員進行實驗性研究，瞭解其合理性，研究人員再進行修訂，試用，直至發展出客觀合理的分析類目和編碼明確的操作定義。
其次，對編碼員進行培訓，識別出意見不同的編碼員
在對類目進行詳細定義之後，小編對編碼員進行了培訓，幫助編碼員準確瞭解類目的定義和範圍，讓他們能準確掌握編碼的技巧和方法。在這個過程中，小編髮現，編碼員A在接受培訓的過程中，仍不能與其他人在類目的標準保持一致的理解，因此讓其退出研究項目。
在此次信度測試覆盤的過程中，小編已幫大家明確了這兩種做法，在這個過程中還有什麼問題沒解釋清楚，歡迎留言，會在留言之後回覆的哦。
參考文獻：
· Eugenio, B. D. , & Glass, M. . (2004). The kappa statistic: a second look. Computational Linguistics, 30(1), 95-101.
· Fleiss, J. L. , & Cohen, J. . (1973). The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educational and Psychological Measurement, 33(3), 613-619.
· Hayes, A. F. , & Krippendorff, K. . (2007). Answering the call for a standard reliability measure for coding data. Communication Methods & Measures, 1(1), 77-89.
· Krippendorff. K. (2004). Reliability in Content Analysis: Some common Misconceptions and Recommendations. Human Communication Research 30, 3: 411-433.
· Scott, W. A. . (0). Reliability of content analysis:Public Opinion Quarterly, (3), 3.
· 周翔。（2014）。傳播學內容分析研究與應用。重慶：重慶出版社。
關注公眾號"文本數據挖掘與分析"（divominer）或登入官網，快速註冊帳號，
永久免費使用DiVoMiner®學習版！
更多精彩內容
閱讀更多 博易數據 的文章
