4  歸納推理

本單元學習目標:以 Zwaan et al. (2018) 重製的九項實驗,學習各種實驗設計搭配的統計方法,如何確認測出關鍵效應。認識心理學研究常見的效果量指標,以及估計方法。延伸學習:如何使用開源統計軟體重製實驗資料分析。

4.1 原始資料結構與測量誤差

根據 Zwaan et al. (2018) 的實驗設計Wave(Within Participant) X Similarity(Between Participant) X Specific Condition(Within Participant),九項重製實驗資料具備通用資料結構。

定義算術元素:

刺激相同的參與者~ \(P_{s1}, P_{s2}, ... P_{sn}\)

刺激不同的參與者~ \(P_{d1}, P_{d2}, ... P_{dn}\)

Wave ~ \(w_1, w_2\)

Similarity ~ \(S_s, S_d\)

Condition ~ \(C_1, C_2\)

參與者分組 參與者代碼 獨變項因子組合 依變項平均分數
\(P_{s1}\) \(w_1S_sC_1\) \(Y_{11s1}\)
\(P_{s2}\) \(w_1S_sC_1\) \(Y_{21s1}\)
Same \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_1S_sC_1\) \(Y_{n1s1}\)
\(\overline{Y}_{.1s1}\)
\(P_{s1}\) \(w_1S_sC_2\) \(Y_{11s2}\)
\(P_{s2}\) \(w_1S_sC_2\) \(Y_{21s2}\)
Same \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_1S_sC_2\) \(Y_{n1s2}\)
\(\overline{Y}_{.1s2}\)
\(P_{s1}\) \(w_2S_sC_1\) \(Y_{12s1}\)
\(P_{s2}\) \(w_2S_sC_1\) \(Y_{22s1}\)
Same \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_2S_sC_1\) \(Y_{n2s1}\)
\(\overline{Y}_{.2s1}\)
\(P_{s1}\) \(w_2S_sC_2\) \(Y_{12s2}\)
\(P_{s2}\) \(w_2S_sC_2\) \(Y_{22s2}\)
Same \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_2S_sC_2\) \(Y_{n2s2}\)
\(\overline{Y}_{.2s2}\)
\(P_{s1}\) \(w_1S_dC_1\) \(Y_{11s1}\)
\(P_{s2}\) \(w_1S_dC_1\) \(Y_{21s1}\)
Different \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_1S_dC_1\) \(Y_{n1s1}\)
\(\overline{Y}_{.1d1}\)
\(P_{s1}\) \(w_1S_dC_2\) \(Y_{11s2}\)
\(P_{s2}\) \(w_1S_dC_2\) \(Y_{21s2}\)
Different \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_1S_dC_2\) \(Y_{n1s2}\)
\(\overline{Y}_{.1d2}\)
\(P_{s1}\) \(w_2S_dC_1\) \(Y_{12s1}\)
\(P_{s2}\) \(w_2S_dC_1\) \(Y_{22s1}\)
Different \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_2S_dC_1\) \(Y_{n2s1}\)
\(\overline{Y}_{.2d1}\)
\(P_{s1}\) \(w_2S_dC_2\) \(Y_{12s2}\)
\(P_{s2}\) \(w_2S_dC_2\) \(Y_{22s2}\)
Different \(\vdots\) \(\vdots\) \(\vdots\)
\(\vdots\) \(\vdots\) \(\vdots\)
\(P_{sn}\) \(w_2S_dC_2\) \(Y_{n2s2}\)
\(\overline{Y}_{.2d2}\)

4.1.1 算術平均數演練

  • 總體實驗效果要如何計算?

  • 如何比較不同參與者分組的實驗效果?

  • 如何比較不同梯次的實驗效果?

  • 如何比較不同參與者分組、不同梯次的實驗效果?

  • Zwaan et al. (2018)附件列出的每個實驗主要依項描述統計表( Table S1 ~ Table S10 ),表格內的數值對應那些算術平均數?

  • Zwaan et al. (2018)公開資料下載每個實驗Mean開頭的csv檔,計算每個檔案內欄位的算術平均數。能否使用這些計算結果重製附錄的表格?

4.2 運用統計方法歸納實驗結果

補充資料:用jamovi上手統計學線性模型的學習取向

4.2.1 實驗設計與統計分析模型

如果WaveSimilarity不影響specific condition的平均值差異,一項重製實驗的每次試驗原始分數,即符合線性模型(1):

\[Y_{ijkl} \sim \overline{Y}_{...} + \alpha_j + \beta_k + \gamma_l + \varepsilon_{i(k)} \dots (1)\] i = 1,2,3, …, 160

\(\alpha\) ~ Wave, j = 1, 2

\(\beta\) ~ Similarity, k = s, d

\(\gamma\) ~ specific condition, l = 1, 2

\(\varepsilon\) ~ residuals 下標符號提示參與者間獨變項

如果WaveSimilarity並無差異,則符合線性模型(1):

\[Y_{il} \sim \overline{Y_{.}} + \gamma_{l} + \varepsilon_i \dots (2)\]

i = 1,2,3, …, 160

\(\gamma\) ~ specific condition, l = 1, 2, 3, …, 8

模型(1)適用多因子變異數分析,模型(2)適用單因子變異數分析或t檢定。

  • 如何透過線性模型選擇jamovi分析模組?
  • 如何透過線性模型了解jamovi分析模組的選項設定?

4.2.2 效果量的估計與運用

重製附錄內統計表的Cohen’s d (1) 從各條件平均值 (2) 從每位參與者的平均分數

  • 提示題: 如何選擇估計效果量的公式及計算器?

  • 提示題: 如果文獻報告沒有提供效果量,要怎麼估計?

  • 解讀 Zwaan et al. (2018) 之Figure 1。

運用以上介紹,嘗試重製附錄中每項實驗的統計資訊,以及Table S1 ~ Table S10的效果量數值。

4.2.3 實驗結果的可重製指標

  • 敏感度分析

要得到可靠的歸納推理結論,實驗設計必須考慮三角關係:考驗力 - 樣本數 - 效果量(視覺化解說)

  1. 估計應測得之效果量

由報告統計值換算效果量

由原始資料估計效果量

  1. 設定應達考驗力水準

  2. 估計最小有意義樣本數

jpower相依樣本t檢定估計最小樣本數設定示範。應設定參數有最小目標效果量(Minimally-interesting effect size)、Minimum desired power(目標考驗力水準)、型一錯誤率(Type 1 error rate)、單尾或雙尾檢定(Tails)。
  • 樣本效果普遍程度

Moore et al. (2023) 示範三步驟檢核法。

4.2.4 直接再現重製研究的評估

在台灣地區要儘可能地再重製九項認知實驗,要考慮那些條件?

  1. 在地或國外參與者
  2. 實驗環境是實體空間或網路
  3. 實驗軟體及平台的選擇
  4. 因軟體及平台的設定,實驗程序需要的設定
  5. 因參與者的背景,實驗材料要做的調整
  6. 設定重製實驗結果需有統計考驗力為90%,要招募的參與者人數

4.3 研究倫理基本須知

科學研究能增進人類對這個世界的了解,是每個領域科學家進行研究的主要動機。行為與社會科學的研究對象是人類,運用各種方式取得人類行為資料是研究之必需。儘管研究有崇高的目標,任何取得資料的方式都不能侵害個人利益,或造成任何可能的風險。以下引述 Saul (2011) 整理的基本須知,補充最近應該考慮的例子:

  • 獲取資料的方式是否會引發參與者心理或生理的不適? 例如:詢問個人性別不只設計兩個選項,讓跨性別人士自由決定要不要告知。
  • 收集資料有無侵犯個人隱私? 例如在公開場合進行實驗;收集個人手機定位…
  • 因實驗操作的需要,事前隱暪部分內容,會不會損害參與者權益?例如:分班實施不同的教學法,比較學生的學習表現。
  • 參與者隨時中止參與研究的自由。
  • 邀請未成年人士參與研究,應考慮的問題:
  • 以非人類動物進行研究,應考慮的問題: