(Attention–Relevance–Confidence–Satisfaction) – Random/Fixed Effects Framework

1) Setup Data & Notation (Comparative Studies)

Untuk setiap studi $i = 1,2,\dots,k$ (di artikel ini $k=25$ ), terdapat dua kelompok:

Experimental (AR-based learning): ukuran sampel $n_{E,i}$ ,i, rerata $M_{E,i}$ , simpangan baku $SD_{E,i}$
Control (non-AR / conventional): ukuran sampel $n_{C,i}$ rerata $M_{C,i}$ simpangan baku $SD_{C,i}$

Outcome diekstrak untuk empat dimensi ARCS (dihitung terpisah per dimensi): $j \in \{A, R, C, S\}$

dengan:

$A$ =Attention, $R$ =Relevance, $C$ =Confidence, $S$ =Satisfaction

2) Effect Size Model: Cohen’s $d$ (Standardized Mean Difference)

Ukuran efek per studi untuk dimensi $j$ :

(a) Pooled standard deviation

$SD_{p,ij}=\sqrt{\frac{(n_{E,i}-1)SD_{E,ij}^{2}+(n_{C,i}-1)SD_{C,ij}^{2}} {n_{E,i}+n_{C,i}-2}}$

(b) Cohen’s $d$

$d_{ij}=\frac{M_{E,ij}-M_{C,ij}}{SD_{p,ij}}$

Interpretasi tanda:

$d_{ij}>0$ : AR meningkatkan motivasi (komponen ARCS) dibanding kontrol
$d_{ij}\approx 0$ : tidak ada perbedaan
$d_{ij}<0$ : AR lebih buruk dari kontrol

Artikel menafsirkan kategori efek (rule-of-thumb): kecil $\approx 0.2$ , sedang $\approx 0.5$ , besar $\approx 0.8$ , sangat besar $\approx 1.2$ , sangat masif $\approx 2.0$ . The impact of augmented reality…

3) Sampling Model (Within-Study Error)

Setiap estimasi $d_{ij}$ adalah noisy estimate dari efek “benar” studi tersebut $\theta_{ij}$ : $d_{ij}=\theta_{ij}+\varepsilon_{ij} \quad\text{dengan}\quad \varepsilon_{ij}\sim N(0,v_{ij})$

Di meta-analisis, $v_{ij}$ adalah sampling variance dari effect size (umumnya dihitung otomatis oleh software meta-analysis; artikel menggunakan JASP). The impact of augmented reality…

4) Fixed-Effect vs Random-Effects (Core Meta Model)

4.1 Fixed-Effect Model (FEM)

Asumsi: semua studi berbagi satu efek benar yang sama untuk dimensi $j$ : $\theta_{ij}=\mu_{j}$

Sehingga: $d_{ij}=\mu_{j}+\varepsilon_{ij}$

Bobot studi (fixed): $w_{ij}^{FE}=\frac{1}{v_{ij}}$

Estimator rata-rata tertimbang: $\hat{\mu}_{j}^{FE}=\frac{\sum_{i=1}^{k}w_{ij}^{FE}d_{ij}}{\sum_{i=1}^{k}w_{ij}^{FE}}$

4.2 Random-Effects Model (REM)

Asumsi: efek benar bervariasi antar studi (karena konteks pembelajaran, perangkat AR, populasi, durasi intervensi, dsb.): $\theta_{ij}=\mu_{j}+u_{ij}, \quad u_{ij}\sim N(0,\tau_{j}^{2})$ )

Sehingga: $d_{ij}=\mu_{j}+u_{ij}+\varepsilon_{ij}$

Bobot studi (random): $w_{ij}^{RE}=\frac{1}{v_{ij}+\tau_{j}^{2}}$

Estimator rata-rata tertimbang random-effects: $\hat{\mu}_{j}^{RE}=\frac{\sum_{i=1}^{k}w_{ij}^{RE}d_{ij}}{\sum_{i=1}^{k}w_{ij}^{RE}}$

Catatan: $\tau_{j}^{2}$ adalah between-study variance (di artikel disebut diestimasi lewat prosedur meta-analysis di JASP; pada funnel plot tertulis “Restricted ML”, yaitu varian yang umumnya diasosiasikan dengan REML). The impact of augmented reality…

5) Heterogeneity Testing & Model Choice

5.1 Cochran’s $Q$

$Q_{j}=\sum_{i=1}^{k}w_{ij}^{FE}(d_{ij}-\hat{\mu}_{j}^{FE})^{2}$

Jika $Q_j$ signifikan (p kecil), ada indikasi heterogenitas yang tidak bisa dijelaskan oleh sampling error saja.

5.2 Higgins’ $I^{2}$

$I_{j}^{2}= \max\left(0,\frac{Q_{j}-(k-1)}{Q_{j}}\right)\times 100\%$

Aturan interpretasi yang dipakai artikel:

$I^{2}<40\%$ : heterogenitas rendah/neglected
30–60%: moderat
50–90%: substantial
75–100%: considerable The impact of augmented reality…

Aturan pemilihan model (yang dinyatakan eksplisit):

Jika $I^{2} > 50\%$ I → gunakan random effects
Jika $I^{2} < 50\%$ → dapat gunakan fixed effects The impact of augmented reality…

6) Inference: z-test & Confidence Interval

Untuk mean effect $\hat{\mu}_j$ (umumnya REM), standard error: $SE(\hat{\mu}_{j})=\sqrt{\frac{1}{\sum_{i=1}^{k}w_{ij}^{RE}}}$

Uji signifikansi: $z=\frac{\hat{\mu}_{j}}{SE(\hat{\mu}_{j})}$

Confidence interval 95%: $\hat{\mu}_{j}\pm 1.96\times SE(\hat{\mu}_{j})$

Artikel melaporkan $d_{RE}$ , $SE$ , $I^2$ , $z$ , p-value, dan 95% CI untuk tiap dimensi ARCS (Table 3). The impact of augmented reality…

7) Forest Plot Model Representation

Forest plot menampilkan:

titik tengah: $d_{ij}$
garis horizontal: 95% CI per studi
diamond: $\hat{\mu}_{j}$ (overall effect) dengan CI

Ini adalah visualisasi langsung dari model meta-analysis: $d_{ij}\ \Rightarrow\ \hat{\mu}_{j}^{RE}$

untuk tiap $j\in\{A,R,C,S\}$ . The impact of augmented reality…

8) Publication Bias Modeling: Egger’s Test (Regression Asymmetry)

Untuk mendeteksi asimetri funnel plot, Egger test memodelkan hubungan antara standard normal deviate dan presisi:

Definisikan: $SND_{ij}=\frac{d_{ij}}{SE(d_{ij})}, \quad Precision_{ij}=\frac{1}{SE(d_{ij})}$

Regresi Egger: $SND_{ij} = \beta_0 + \beta_1\cdot Precision_{ij} + e_{ij}$

Hipotesis bias publikasi: $\beta_0 \neq 0$ (intercept tidak nol → indikasi asimetri)
Artikel melaporkan statistik $z$ dan p-value Egger untuk tiap dimensi serta menyimpulkan tidak ada bias publikasi (Table 4 + funnel plot). The impact of augmented reality…

9) Fail-safe $N$ N (File Drawer Problem)

Fail-safe $N$ mengestimasi berapa banyak studi “tak terpublikasi” (null) yang diperlukan untuk membuat hasil meta-analysis menjadi tidak signifikan.

Secara konseptual: $N_{fs} = f(k,\ \hat{\mu}_{j},\ \alpha)$ )

Artikel melaporkan nilai Fail-safe $N$ yang jauh melampaui ambang aturan $5k+10$ , sehingga menguatkan kesimpulan robust against publication bias. The impact of augmented reality…

Modeling Summary (One-Line View)

Untuk setiap dimensi ARCS: $\boxed{ d_{ij}=\mu_j+u_{ij}+\varepsilon_{ij},\quad u_{ij}\sim N(0,\tau_j^2),\ \varepsilon_{ij}\sim N(0,v_{ij}) }$

dengan estimator: $\boxed{ \hat{\mu}_j=\frac{\sum_{i=1}^{k}\frac{1}{v_{ij}+\tau_j^2}d_{ij}} {\sum_{i=1}^{k}\frac{1}{v_{ij}+\tau_j^2}} }$

dan heterogenitas: $\boxed{ I_j^2= \max\left(0,\frac{Q_j-(k-1)}{Q_j}\right)\times 100\% }$

Source Article (for your website citation)

Title: The impact of augmented reality learning experiences based on the motivational design model: A meta-analysis (2024)
Journal: Social Sciences & Humanities Open (Elsevier)
DOI (di artikel): 10.1016/j.ssaho.2024.100926

Full Modeling (Meta-Analysis): AR Learning Impact on ARCS Motivation