3  可重製的實驗設計

本單元學習目標:以 Zwaan et al. (2018) 重製的九項實驗,認識各種實驗的設計如何從潛在的隨機誤差及混淆變項造成的誤差偵測目標效應;各種實驗存在什麼樣的混淆變項?延伸學習:如何使用開源實驗平台重製實驗。

3.1 重製研究的實驗設計

  • 迭代作業建議:運用比對Zwaan的重製實驗與原始實驗的設計差異,討論直接再現及概念性再現有無更多參考標準或原則。

直接再現(direct replication):其它實驗室按照原始研究的方法細節,於不同地點時間完整照表操課收集資料,檢視能否再現原始研究的發現。這種再現模式在有規模的實驗室之間經常發生,一篇緊接著原創性研究出現的研究論文,首先會嘗試直接再現原始研究的發現。不過最理想的直接再現研究並不存在,即使是在曾進行原創研究的地點,以相同的設備進行,能招募的參與者已經不同於原始研究。有共識的直接再現模式是由原始研究者提供研究材料,甚至資料分析程序,讓其它研究者在不同地點以最逼近原始條件的空間設備進行再現。或者諮詢原始研究者的意見,在許可範圍內變更部分研究細節,APS公開的RRR項目皆屬稍做變動的直接再現。

概念性再現(conceptual replication):原始研究的關鍵操作,以假設條件可容許,但是與原始研究相異的方式設置,在其它控制變項接近原始研究進行的再現研究。例如自我耗損實驗有其它學者使用其它物品,例如檸檬汁,或可以耗損意志力的其它方法,例如這項RRR使用的挑字母作業,能得到相同效應的結果。概念性再現通常用來測試假說的通用性,也有許多學者認為這是改善實驗研究的外在效度,最佳的方案之一。

3.2 原始研究的實驗設計

  • 根據九項實驗的來源文獻(見 表 1.2 ),如何摘要文獻內各項實驗的設計條件?
    • 依變項
    • 獨變項
    • 與實驗假設的演繹推論關係
    • 隨機誤差來源
    • 潛在混淆變項
    • 樣本數與隨機分派方法

3.3 重製研究的實驗設計

  • 如何摘要 Zwaan et al. (2018) 的重製實驗預先註冊計畫,有關九項實驗的設計條件
    • 依變項
    • 獨變項
    • 與實驗假設的演繹推論關係
    • 隨機誤差來源
    • 潛在混淆變項
    • 樣本數與隨機分派方法
  • 根據 Zwaan et al. (2018) 的預先註冊計畫,如何判斷重製實驗成功再現原始實驗結果?

3.4 開源實驗平台

現在已出現許多支援遠端登入的問卷及實驗平台,有幾種不需要研究者支付訂閱費用的開源軟體。以下推薦三種,我將不定期於個人youtube頻道更新教學影片1

OpenSesame formr psytoolkit
執行平台 Windows或Mac個人電腦2 formr網站3 psytoolkit網站4
註冊方式 下載安裝 寄信告知作者 依首頁說明操作
建議用途 需要反應計時、精準呈現刺激的實驗 格式化問卷、互動圖表 需要計時的實驗、格式化問卷
匯出資料格式 長表格csv csv, json, xlsx等 長表格csv,個別參與者txt
學習資源 官方網站與youtube頻道 官方網站 官方網站與youtube頻道

  1. 個人youtube頻道~ https://www.youtube.com/channel/UCaiYKSQCNNR-UFBSfuWU1-g↩︎

  2. OpenSesame官方網站~ https://osdoc.cogsci.nl/↩︎

  3. formr官方網站~ https://formr.org/↩︎

  4. psytoolkit官方網站~ https://www.psytoolkit.org/↩︎