Cosa fare quando CFA adatto per la bilancia multi-articolo non va bene?

Non sono sicuro di come procedere con questo CFA che sto facendo in lavaan. Ho un campione di 172 partecipanti (so che non è molto per un CFA) e 28 articoli con scale Likert a 7 punti che dovrebbero essere caricati su sette fattori. Ho fatto un CFA con stimatori "mlm", ma l'adattamento del modello era davvero pessimo (χ2 (df = 329) = 739.36; indice di adattamento comparativo (CFI) = .69; residuo quadrato medio radice standardizzato (SRMR) =. 10; errore quadratico medio approssimativo di radice (RMSEA) =. 09; intervallo di confidenza RMSEA 90% (CI) = [.08, .10]).

Ho provato quanto segue:

• modello bifattore con un fattore di metodo generale -> non converge.

• stimatori per dati ordinali („WLSMV“) -> Adattamento del modello: (χ2 (df = 329) = 462; indice di adattamento comparativo (CFI) = .81; residuo quadrato medio radice standardizzato (SRMR) =. 09; errore quadrato medio radice di approssimazione (RMSEA) =. 05; RMSEA intervallo di confidenza al 90% (CI) = [.04, .06])

• riducendo il modello di oggetti che caricano in basso su un fattore e aggiungono covarianze tra elementi specifici -> Adattamento del modello: χ2 (df = 210) = 295; indice comparativo di adattamento (CFI) = .86; residuo quadrato medio radice standardizzato (SRMR) =. 08; errore quadratico medio approssimativo di radice (RMSEA) =. 07; Intervallo di confidenza RMSEA 90% (CI) = [.06, .08].

Ora le mie domande:

• Cosa dovrei fare con un modello del genere?

• Cosa sarebbe statisticamente corretto fare?

• Segnala che si adatta o che non si adatta? E quale di questi modelli?

Sarei felice di avere una discussione con te su questo.

Ecco l'output lavaan del CFA del modello originale:

    lavaan (0.5-17.703) converged normally after  55 iterations

                                              Used       Total
  Number of observations                           149         172

  Estimator                                         ML      Robust
  Minimum Function Test Statistic              985.603     677.713
  Degrees of freedom                               329         329
  P-value (Chi-square)                           0.000       0.000
  Scaling correction factor                                  1.454
    for the Satorra-Bentler correction

Model test baseline model:

  Minimum Function Test Statistic             2461.549    1736.690
  Degrees of freedom                               378         378
  P-value                                        0.000       0.000

User model versus baseline model:

  Comparative Fit Index (CFI)                    0.685       0.743
  Tucker-Lewis Index (TLI)                       0.638       0.705

Loglikelihood and Information Criteria:

  Loglikelihood user model (H0)              -6460.004   -6460.004
  Loglikelihood unrestricted model (H1)      -5967.202   -5967.202

  Number of free parameters                        105         105
  Akaike (AIC)                               13130.007   13130.007
  Bayesian (BIC)                             13445.421   13445.421
  Sample-size adjusted Bayesian (BIC)        13113.126   13113.126

Root Mean Square Error of Approximation:

  RMSEA                                          0.116       0.084
  90 Percent Confidence Interval          0.107  0.124       0.077  0.092
  P-value RMSEA <= 0.05                          0.000       0.000

Standardized Root Mean Square Residual:

  SRMR                                           0.096       0.096

Parameter estimates:

  Information                                 Expected
  Standard Errors                           Robust.sem

                   Estimate  Std.err  Z-value  P(>|z|)   Std.lv  Std.all
Latent variables:
  IC =~
    PTRI_1r           1.000                               1.093    0.691
    PTRI_7            1.058    0.118    8.938    0.000    1.156    0.828
    PTRI_21           0.681    0.142    4.793    0.000    0.744    0.582
    PTRI_22           0.752    0.140    5.355    0.000    0.821    0.646
  IG =~
    PTRI_10           1.000                               0.913    0.600
    PTRI_11r          0.613    0.152    4.029    0.000    0.559    0.389
    PTRI_19           1.113    0.177    6.308    0.000    1.016    0.737
    PTRI_24           0.842    0.144    5.854    0.000    0.769    0.726
  DM =~
    PTRI_15r          1.000                               0.963    0.673
    PTRI_16           0.892    0.118    7.547    0.000    0.859    0.660
    PTRI_23           0.844    0.145    5.817    0.000    0.813    0.556
    PTRI_26           1.288    0.137    9.400    0.000    1.240    0.887
  IM =~
    PTRI_13           1.000                               0.685    0.609
    PTRI_14           1.401    0.218    6.421    0.000    0.960    0.814
    PTRI_18           0.931    0.204    4.573    0.000    0.638    0.604
    PTRI_20r          1.427    0.259    5.514    0.000    0.978    0.674
  IN =~
    PTRI_2            1.000                               0.839    0.612
    PTRI_6            1.286    0.180    7.160    0.000    1.080    0.744
    PTRI_12           1.031    0.183    5.644    0.000    0.866    0.523
    PTRI_17r          1.011    0.208    4.872    0.000    0.849    0.613
  EN =~
    PTRI_3            1.000                               0.888    0.687
    PTRI_8            1.136    0.146    7.781    0.000    1.008    0.726
    PTRI_25           0.912    0.179    5.088    0.000    0.810    0.620
    PTRI_27r          1.143    0.180    6.362    0.000    1.015    0.669
  RM =~
    PTRI_4r           1.000                               1.114    0.700
    PTRI_9            0.998    0.105    9.493    0.000    1.112    0.786
    PTRI_28           0.528    0.120    4.403    0.000    0.588    0.443
    PTRI_5            0.452    0.149    3.037    0.002    0.504    0.408

Covariances:
  IC ~~
    IG                0.370    0.122    3.030    0.002    0.371    0.371
    DM                0.642    0.157    4.075    0.000    0.610    0.610
    IM                0.510    0.154    3.308    0.001    0.681    0.681
    IN                0.756    0.169    4.483    0.000    0.824    0.824
    EN                0.839    0.169    4.979    0.000    0.865    0.865
    RM                0.644    0.185    3.479    0.001    0.529    0.529
  IG ~~
    DM                0.380    0.103    3.684    0.000    0.433    0.433
    IM                0.313    0.096    3.248    0.001    0.501    0.501
    IN                0.329    0.107    3.073    0.002    0.429    0.429
    EN                0.369    0.100    3.673    0.000    0.455    0.455
    RM                0.289    0.116    2.495    0.013    0.284    0.284
  DM ~~
    IM                0.530    0.120    4.404    0.000    0.804    0.804
    IN                0.590    0.122    4.839    0.000    0.731    0.731
    EN                0.588    0.105    5.619    0.000    0.688    0.688
    RM                0.403    0.129    3.132    0.002    0.376    0.376
  IM ~~
    IN                0.439    0.126    3.476    0.001    0.763    0.763
    EN                0.498    0.121    4.128    0.000    0.818    0.818
    RM                0.552    0.122    4.526    0.000    0.723    0.723
  IN ~~
    EN                0.735    0.167    4.402    0.000    0.987    0.987
    RM                0.608    0.141    4.328    0.000    0.650    0.650
  EN ~~
    RM                0.716    0.157    4.561    0.000    0.724    0.724


Variances:
    PTRI_1r           1.304    0.272                      1.304    0.522
    PTRI_7            0.613    0.153                      0.613    0.314
    PTRI_21           1.083    0.199                      1.083    0.662
    PTRI_22           0.940    0.141                      0.940    0.582
    PTRI_10           1.483    0.257                      1.483    0.640
    PTRI_11r          1.755    0.318                      1.755    0.849
    PTRI_19           0.868    0.195                      0.868    0.457
    PTRI_24           0.530    0.109                      0.530    0.473
    PTRI_15r          1.121    0.220                      1.121    0.547
    PTRI_16           0.955    0.200                      0.955    0.564
    PTRI_23           1.475    0.219                      1.475    0.691
    PTRI_26           0.417    0.120                      0.417    0.213
    PTRI_13           0.797    0.113                      0.797    0.629
    PTRI_14           0.468    0.117                      0.468    0.337
    PTRI_18           0.709    0.134                      0.709    0.635
    PTRI_20r          1.152    0.223                      1.152    0.546
    PTRI_2            1.178    0.251                      1.178    0.626
    PTRI_6            0.942    0.191                      0.942    0.447
    PTRI_12           1.995    0.235                      1.995    0.727
    PTRI_17r          1.199    0.274                      1.199    0.625
    PTRI_3            0.882    0.179                      0.882    0.528
    PTRI_8            0.910    0.131                      0.910    0.472
    PTRI_25           1.048    0.180                      1.048    0.615
    PTRI_27r          1.273    0.238                      1.273    0.553
    PTRI_4r           1.294    0.242                      1.294    0.510
    PTRI_9            0.763    0.212                      0.763    0.382
    PTRI_28           1.419    0.183                      1.419    0.804
    PTRI_5            1.269    0.259                      1.269    0.833
    IC                1.194    0.270                      1.000    1.000
    IG                0.833    0.220                      1.000    1.000
    DM                0.927    0.181                      1.000    1.000
    IM                0.470    0.153                      1.000    1.000
    IN                0.705    0.202                      1.000    1.000
    EN                0.788    0.177                      1.000    1.000
    RM                1.242    0.257                      1.000    1.000

1. Torna a Analisi fattoriale esplorativa

Se stai ottenendo degli adattamenti CFA molto cattivi, spesso è un segno che sei passato troppo rapidamente a CFA. Dovresti tornare all'analisi fattoriale esplorativa per conoscere la struttura del tuo test. Se hai un campione di grandi dimensioni (nel tuo caso non lo fai), puoi dividere il campione per avere un campione esplorativo e di conferma.

• Applicare procedure di analisi fattoriale esplorativa per verificare se il numero teorico di fattori sembra ragionevole. Controllerei la trama del ghiaione per vedere cosa suggerisce. Verificherei quindi la matrice di caricamento del fattore ruotato con il numero teorico di fattori, nonché con uno o due più e uno o due fattori in meno. Spesso è possibile vedere segni di estrazione di fattori sotto o sopra osservando tali matrici di caricamento dei fattori.
• Utilizzare l'analisi fattoriale esplorativa per identificare gli elementi problematici. In particolare, gli articoli caricano maggiormente su un fattore non teorizzato, gli articoli con grandi carichi incrociati, gli articoli che non caricano molto su alcun fattore.

I vantaggi di EFA è che offre molta libertà, quindi imparerai molto di più sulla struttura del test di quanto non guardi solo gli indici di modifica CFA.

Comunque, spero che da questo processo potresti aver identificato alcuni problemi e soluzioni. Ad esempio, potresti eliminare alcuni elementi; potresti aggiornare il tuo modello teorico di quanti fattori ci sono e così via.

2. Migliorare l'adattamento all'analisi fattoriale confermativa

Ci sono molti punti che potrebbero essere fatti qui:

I CFA su bilance con molti articoli per scala spesso hanno prestazioni scarse rispetto agli standard tradizionali. Questo porta spesso le persone (e nota che penso che questa risposta sia spesso sfortunata) a formare pacchi di articoli o usare solo tre o quattro articoli per scala. Il problema è che le strutture CFA proposte in genere non riescono a catturare le piccole sfumature nei dati (ad esempio, piccoli carichi incrociati, elementi all'interno di un test che correlano un po 'più di altri, fattori di disturbo minori). Questi sono amplificati con molti articoli per scala.

Ecco alcune risposte alla situazione precedente:

• Esegui un SEM esplorativo che consenta vari piccoli carichi incrociati e termini correlati
• Esaminare gli indici di modifica e incorporare alcune delle più grandi modifiche ragionevoli; ad esempio, alcuni residui correlati alla scala; alcuni carichi incrociati. vedere modificationindices(fit)in lavaan.
• Utilizzare la lottizzazione degli oggetti per ridurre il numero di variabili osservate

Commenti generali

Quindi, in generale, se il tuo modello CFA è davvero male, torna a EFA per saperne di più sulla tua bilancia. In alternativa, se il tuo EFA è buono e il tuo CFA sembra un po 'cattivo a causa di problemi ben noti di avere molti articoli per scala, allora gli approcci CFA standard come menzionato sopra sono appropriati.

Lavorerei per cercare di far convergere il modello bifattore. Prova ad adattare i valori iniziali ... questo potrebbe essere un approccio difficile, quindi tienilo a mente e interpretalo con cautela. Leggi i pericoli dell'interpretazione di modelli che resistono alla convergenza se vuoi essere veramente cauto - ammetto di non aver fatto ancora molto nel mio studio di SEM, quindi ti suggerisco di fare ciò che devi fare per ottenere il modello convergono principalmente a tuo vantaggio. Non so che sarà più adatto per la pubblicazione, ma se chiaramente non lo è perché il modello bifattore non si adatta bene, potrebbe essere utile che tu lo sappia.

Altrimenti, sembra che tu abbia fatto il più possibile con i dati che hai. AFAIK (ultimamente ho studiato a fondo questo progetto metodologico, quindi, per favore, correggimi se sbaglio !!), la stima WLSMV lavaanutilizza soglie da correlazioni policoriche, che è il modo migliore per adattarsi bene indici da un CFA di dati ordinali. Supponendo che tu abbia specificato correttamente il tuo modello (o almeno in modo ottimale), è tutto ciò che puoi fare. Rimuovere elementi con bassi carichi e stimare liberamente le covarianze tra oggetti sta andando un po 'oltre, ma ci hai provato anche tu.

Il modello non si adatta bene agli standard convenzionali, come probabilmente saprai. Ovviamente non dovresti dire che si adatta bene quando non lo fa. Questo vale purtroppo per tutte le serie di statistiche sull'adattamento riportate qui (suppongo tu sperassi che si adattasse). Alcune delle tue statistiche di adattamento sono solo abbastanza scarse, non del tutto negative (l'RMSEA = .05 è accettabile), ma nel complesso, nessuna di queste è una buona notizia, e hai la responsabilità di essere onesto al riguardo se hai intenzione di pubblicare questi risultati. Spero che tu possa, FWIW.

Ad ogni modo, potresti considerare di raccogliere più dati se puoi; questo potrebbe aiutare, a seconda di cosa stai cercando. Se il tuo obiettivo è un test di ipotesi di conferma, beh, hai "sbirciato" i tuoi dati e aumenterai il tuo tasso di errore se lo riutilizzi in un campione espanso, quindi a meno che tu non possa semplicemente mettere da parte questo set di dati e replicare un intero, fresco, più grande, hai uno scenario difficile da gestire. Se sei principalmente interessato a stimare i parametri e restringere gli intervalli di confidenza, penso che potrebbe essere ragionevole mettere insieme tutti i dati che puoi raccogliere, compresi quelli che hai già usato qui. Se riesci a ottenere più dati, potresti ottenere indici più adatti, il che renderebbe le tue stime dei parametri più affidabili. Spero che sia abbastanza buono.