3 實驗設計：反向解構
從 Chandler et al. (2015) 與 Zwaan et al. (2018) 的研究計畫書，認識參與者間實驗設計與參與者內實驗設計，各存在什麼樣的混淆變項？如何控制非新手經驗之外的混淆變項
延伸學習：如何使用開源實驗平台設計實驗腳本。
這個單元我們將用反向工程的思維，探討 Chandler et al. (2015) 與 Zwaan et al. (2018) 如何操作參與者的非新手經驗，對再現實驗結果的影響。現在也是時候認識兩種再現研究形式，以下說明改寫自本書作者的網誌：
直接再現(direct replication)：其它實驗室按照原始研究的方法細節，於不同地點時間完整照表操課收集資料，檢視能否再現原始研究的發現。這種再現模式在有規模的實驗室之間經常發生，一篇緊接著原創性研究出現的研究論文，首先會嘗試直接再現原始研究的發現。不過最理想的直接再現研究並不存在，即使是在曾進行原創研究的地點，以相同的設備進行，能招募的參與者已經不同於原始研究。有共識的直接再現模式是由原始研究者提供研究材料，甚至資料分析程序，讓其它研究者在不同地點以最逼近原始條件的空間設備進行再現。或者諮詢原始研究者的意見，在許可範圍內變更部分研究細節，美國心理科學學會(APS)經營的RRR項目皆屬稍做變動的直接再現。
概念性再現(conceptual replication)：原始研究的關鍵操作，以假設條件可容許，但是與原始研究相異的方式設置，在其它控制變項接近原始研究進行的再現研究。例如自我耗損實驗有其它學者使用其它物品，例如檸檬汁，或可以耗損意志力的其它方法，例如這項RRR使用的挑字母作業，能得到相同效應的結果。概念性再現通常用來測試假說的通用性，也有許多學者認為這是改善實驗研究的外在效度，最佳的方案之一。
Chandler et al. (2015) 與 Zwaan et al. (2018) 的專案都包含不只一項心理學實驗，因為原始研究都是在實驗室裡進行的作業，轉換為線上實驗之後，是不是都屬於「概念性再現」？這道問題我們將在 單元 5 到 單元 7 三個單位逐一討論。我們先了解完整的實驗設計要有什麼元素。
3.1 實驗設計的要素
?sec-deductive 談過設定有效的研究假設，在實驗研究就是要說明獨變項（independent variable）如何影響依變項（dependent variable），也就是因果關係的定量描述。獨變項是實驗設計裡可操作的成份，也就是研究者可以直接控制或改變的變項條件。例如有個探討不同教學方法對學習成效影響的研究，教學方法就是獨變項，所要比較的教學方法就是變項條件。研究者可將參與者分成不同組別，像是採用新式教學方法的實驗組，以及採用傳統教學方法的控制組。變項條件之間的差異則反應在依變項，也就是實驗設計裡最主要的測量指標。以比較教學方法的例子來說，可做為依變項的測量指標有測驗成績、個人學習效率、知識保留程度等。
只要你有能做測量紀錄的工具，一項實驗研究可以有多種依變項測量指標，但是如果有明確的理論指引，你的研究假設應該要指出最重要的測量指標。測量指標需要多少沒有明確的指引，不過本書作者的主要建議是「少即是多」。如果除了主要依變項的測量指標，你還需要紀錄其他測量指標的資料，就要想想看這種指標是不是能幫助你評估混淆變項(confounding variables)的影響。混淆變項是指除了獨變項以外，可能會影響依變項的其他變項。混淆變項會讓研究者難以判斷依變項的變化究竟是顯現獨變項所造成差異，還是這些混淆變項的影響。以前面的教學方法研究來說，上課時間是一種可能的混淆變項，像是實驗組的上課時間是早上，控制組是下午最後一堂上課，學生的學習動機與效率很可能因為上課時間安排而有不同，實驗組的表現較控制組佳，無法肯定是教學方法所造成。
實驗研究所有可能的混淆變項都被排除或控制之後，絕對無法避免任何測量必定存在的測量誤差(measurement error)，大部分是隨機分派或取樣而產生的隨機殘差(random residual)。任何會收集並分析隨機樣本的科學研究都會有測量誤差，心理學實驗也不例外。能充分確證及否證研究假設的實驗設計，是儘可能保持依變項所測出資料變化，只有單純顯現獨變項條件操作的有效或無效。下一個單元會提到的統計分析，功能就是以包容測量誤差為前提，確認獨變項條件操作在依變項測量指標上的有效程度。
Chandler et al. (2015) 與 Zwaan et al. (2018) 的主要依變項都是效果量指標Cohen’s d，皆有參與者間(between-participant)與參與者內(within-participant)的獨變項條件，如此設計的各有研究目標的考慮。接著我們透過以下幾節的演練指引，從文獻及公開資料認識研究者如何設計參與者間及參與者內獨變項。
3.2 參與者間實驗設計
分組處置是最常見的參與者間設計條件，需要參與者經歷一段共同的處置，測量經歷後的變化，不少心理學研究會搭配前測與後測程序，確認所有參與者經歷各自處置條件之前，參與者在依變項測量指標的表現接近，且確認排除或控制混淆變項的影響，就能確定後測表現的差異是分組處置所造成。
參與者間分組都是以隨機方式分派以平衡參與者間的個別差異，而且參與者及研究者到完成實驗之前，都不會知曉被分派到的條件，才能排除如參與者預期或研究者預期等會干擾參與者表現的混淆變項。
3.3 參與者內實驗設計
一項獨變項的所有實驗條件，讓同一位參與者重覆經歷各數次，總成各條件的平均表現，評估條件之間的表現差異。因此參與者內設計可以控制個別差異對依變項測量的影響，在認知及知覺等基礎心理學研究經常見到參與者內獨變項。
由於統計分析方法相同，很多人會把實驗程序的前後測也當成一種參與者內實驗設計。然而前後測是不同的實驗程序段落，本書所描述的參與者內獨變項是所包含的條件，各安排數項反應嘗試（嘗試數量因實驗內容而定），在同一個實驗程序段落裡，隨機排列反應嘗試的次序，約束參與者因猜測研究目的而採取企圖優化或劣化的反應策略。
3.4 實驗設計條件的採用原則
透過以上的演練考察，我們整理參與者間及參與者內的優勢與劣勢，再思考不同領域的心理學研究採用某一類研究的主要理由。
參與者間設計能確保參與者只能接觸到一種實驗條件，避免重複測試所造成的測量偏誤，或者因為熟悉先前實驗內容，參與者在後續測試改變反應。然而，由於每個實驗條件測得的反應資料來自不同的參與者，通常需要較多的樣本數才能獲得相同程度的統計檢定力。個體差異也可能影響測量結果，因為有些參與者可能在某些實驗條件特別突出，如果參與者的個人條件有利在其中一個分組的表現，又沒有充分按照隨機原則分組，很容易混淆實驗結果。
參與者內設計讓每位參與者都會經歷所有實驗條件的測試，能以較少樣本數獲得有起碼統計檢定力的結果，也能有效控制個別差異對實驗結果造成的偏誤。相對地，重複測試會導致練習效應或疲勞效應。前者是指參與者在多次執行相同或類似的任務後，表現會有所進步。後者是指參與者在長時間參與實驗後，可能會感到疲倦或厭倦，導致表現下降。研究人員需要透過調整程序段落以緩和些效應，並透過統計分析評估重複測試造成的偏誤程度。
3.5 開源實驗平台
現在已出現許多支援遠端登入的問卷及實驗平台，有幾種不需要研究者支付訂閱費用的開源軟體。以下推薦三種，我將不定期於個人youtube頻道更新教學影片1：
| OpenSesame | formr | psytoolkit | |
|---|---|---|---|
| 執行平台 | Windows或Mac個人電腦2 | formr網站3 | psytoolkit網站4 |
| 註冊方式 | 下載安裝 | 寄信告知作者 | 依首頁說明操作 |
| 建議用途 | 需要反應計時、精準呈現刺激的實驗 | 格式化問卷、互動圖表 | 需要計時的實驗、格式化問卷 |
| 匯出資料格式 | 長表格csv | csv, json, xlsx等 | 長表格csv,個別參與者txt |
| 學習資源 | 官方網站與youtube頻道 | 官方網站 | 官方網站與youtube頻道 |