Quali criteri devono essere soddisfatti per concludere che si sta verificando un "effetto massimale"?

Secondo la SAGE Encyclopedia of Social Science Metodi di ricerca ...

[a] l'effetto del soffitto si verifica quando una misura possiede un limite superiore distinto per le risposte potenziali e una grande concentrazione di partecipanti ottiene un punteggio pari o vicino a questo limite. L'attenuazione della scala è un problema metodologico che si verifica ogni volta che la varianza è limitata in questo modo. … Ad esempio, può verificarsi un effetto soffitto con una misura di atteggiamenti in cui un punteggio elevato indica un atteggiamento favorevole e la risposta più elevata non riesce a catturare la valutazione più positiva possibile. ... La migliore soluzione al problema degli effetti del soffitto è il test pilota, che consente di identificare il problema in anticipo . Se viene rilevato un effetto soffitto , [e] la misura del risultato è l'esecuzione dell'attività, l'attività può essere resa più difficile per aumentare la gamma di risposte potenziali. ¹ [enfasi aggiunta]

Sembra che ci sia un sacco di consigli e domande ( e qui ) che si occupano di analisi dei dati che mostrano gli effetti del soffitto simile a quello descritto nella citazione di cui sopra.

La mia domanda può essere semplice o ingenua, ma come si può effettivamente rilevare che un effetto soffitto è presente nei dati? Più specificamente, supponiamo che venga creato un test psicometrico che si sospetti porti a un effetto soffitto (solo esame visivo) e che quindi il test venga rivisto per produrre una gamma più ampia di valori. Come si può dimostrare che il test rivisto ha rimosso l'effetto soffitto dai dati che genera? Esiste un test che dimostra che esiste un effetto soffitto nel set di dati a ma nessun effetto soffitto nel set di dati b ?

Il mio approccio ingenuo sarebbe quello di esaminare solo l'inclinazione della distribuzione e, se non è inclinata, concludere che non vi è alcun effetto limite. È troppo semplicistico?

modificare

Per aggiungere un esempio più concreto, supponiamo che io sviluppi uno strumento che misura alcuni tratti latenti x che aumenta con l'età ma alla fine si riduce e inizia a diminuire con l'età. Faccio la prima versione, che ha un intervallo compreso tra 1 e 14, faccio un po 'di pilotaggio e trovo che possa esserci un effetto soffitto (un gran numero di risposte a 14 o quasi, il massimo .. Concludo solo con guardando i dati, ma perché? Esiste un metodo rigoroso per supportare tale affermazione?

Quindi rivedo la misura per avere un intervallo compreso tra 1 e 20 e raccolgo più dati. Vedo che la tendenza corrisponde più da vicino alle mie aspettative, ma come faccio a sapere che l'intervallo di misurazione è abbastanza ampio. Devo rivederlo di nuovo? Visivamente, sembra essere ok, ma c'è un modo per testarlo per confermare i miei sospetti?

inserisci qui la descrizione dell'immagine

Voglio sapere come posso rilevare questo effetto del soffitto nei dati piuttosto che guardarlo. I grafici rappresentano dati reali, non teorici. L'ampliamento della gamma dello strumento ha creato una migliore diffusione dei dati, ma è sufficiente? Come posso provarlo?

¹ Hessling, R., Traxel, N., & Schmidt, T. (2004). Effetto soffitto. In Michael S. Lewis-Beck, A. Bryman e Tim Futing Liao (a cura di), The SAGE Encyclopedia of Social Science Research Methods . (p. 107). Thousand Oaks, CA: Sage Publications, Inc. doi: 10.4135 / 9781412950589.n102

— soffitto
fonte

Per compiere progressi, si dovrebbe elaborare una definizione operativa di "effetto soffitto". Farlo in generale potrebbe essere problematico: dopo tutto, quasi qualsiasi quantità misurata non può realisticamente superare un valore, come il 100% in un punteggio del test o concentrazione chimica, il limite superiore di ciò che uno strumento può leggere, e così via, quindi quasi tutti i dati sono soggetti ad un limite superiore intrinseco. Quindi, sebbene il significato inteso di "effetto soffitto" sia intuitivamente chiaro dai tuoi begli esempi, puoi aiutarci chiarendo esattamente cosa deve essere "rimosso" dai tuoi dati e perché.

— whuber

@whuber hai ragione nel dire che il termine è usato in molti modi diversi, ma in questo caso, sto parlando di fare un righello abbastanza a lungo da superare tutte le cose che voglio misurare. Quando si creano i test, si desidera sicuramente includere abbastanza elementi di una serie di difficoltà in modo che nessuno ottenga il 100%, altrimenti non si saprà se l'abilità di quella persona è effettivamente il limite del test o superiore. Nulla deve essere rimosso dai dati, ma lo strumento deve essere rivisto fino a quando non genera punti dati censurati.

— massimale

Grazie. Non sono ancora sicuro di cosa intendi per "effetto soffitto", perché nessuna delle tue illustrazioni mostra evidenti prove di alcun tipo di censura - almeno non con limiti di censura fissi del tipo ottenuto con un test. In effetti, la modifica dal pannello di sinistra a quello di destra assomiglia più a una reespressione non lineare uno a uno dell'asse verticale, che non avrebbe alcun effetto su alcun soffitto nei dati. Questo mi fa chiedere se sei davvero preoccupato per qualcosa di completamente diverso, come l'asimmetria dei residui di regressione.

— whuber

Il jitter @whuber è stato aggiunto poiché la maggior parte dei punti si sovrappone. Se i grafici non sembrano essere correlati alla mia domanda, ovviamente non ho idea di cosa stia parlando. Per me, sembra che ci sia un effetto soffitto come descritto da Hessling, Traxel e Schmidt, ma sulla base dei tuoi commenti e della completa mancanza di interesse per questa domanda, forse sto vedendo un problema dove non ce n'è. Grazie comunque per i tuoi suggerimenti e approfondimenti. Lo apprezzo.

— massimale

@Johan vedo. Nello spirito della tua domanda, mi viene in mente che una leggera modifica della tua idea potrebbe essere buona. A meno che non abbiamo motivo di supporre che i residui debbano essere normalmente distribuiti, potremmo cercare di trovare una trasformazione monotona della risposta in cui le distribuzioni residue siano omoscedastiche in cui la risposta è bassa e possibilmente troncarsi dove la risposta è alta. In altre parole, forse il test non dovrebbe essere per la normalità ma dovrebbe cercare una forma e una scala coerenti alla risposta.

— whuber

Risposte:

Prima di tutto, vorrei dire che entrambi i grafici mi forniscono chiare prove dell'esistenza di un effetto soffitto. Come tenterei di misurare questo effetto piuttosto che solo visivamente sarebbe osservare che fintanto che una parte non banale delle osservazioni si trova vicino al limite superiore della gamma dello strumento. In genere un effetto soffitto esisterà sempre finché ci sarà una porzione non banale di coloro che effettuano il test che raggiungeranno il punteggio massimo nel test.

Tuttavia, detto ciò, la tecnologia dell'analisi dei test ha fatto passi da gigante da quando abbiamo dovuto interpretare direttamente i punteggi su uno strumento in base al punteggio corretto. Ora possiamo usare la teoria della risposta agli oggetti per stimare i parametri degli oggetti dei singoli oggetti e usare quegli oggetti per identificare l'abilità del soggetto. Ovviamente possono esserci ancora effetti sul soffitto su un test se rendiamo il test troppo semplice. Tuttavia, a causa dei poteri della teoria della risposta agli oggetti, dovremmo essere in grado di mettere almeno alcuni elementi di difficoltà abbastanza elevata nello strumento in modo da impedire solo una porzione banale della popolazione di colpire il soffitto.

Grazie per la domanda È molto interessante!

— Francis Smart
fonte

Immagino che un modo approssimativo e pronto sarebbe solo quello di misurare la varianza all'aumentare della scala. Se questo mostra una riduzione, questa è la prova di un effetto soffitto e, in caso contrario, non vi è alcun effetto soffitto. È possibile creare un'omogeneità del diagramma della varianza. Il test di Levene potrebbe essere utile per determinare se la varianza è diversa in punti diversi della scala.

— user45114
fonte

grazie per l'idea. Ci proverò, ma mi aspetto che la varianza diminuisca naturalmente con l'età in questo caso.

— massimale

Soffitto, sia questa risposta che il tuo commento sembrano confondere due concetti distinti. La varianza della scala rifletterebbe la dispersione di ripetute misurazioni indipendenti di un soggetto; si suppone che non dipenda dal soggetto, ma che possa variare con la risposta media del soggetto. La varianza a cui fai riferimento tu e questa risposta è la varianza dei residui di regressione. Sebbene siano collegati, non sono la stessa cosa.

— whuber

@whuber grazie per averlo sottolineato. a proposito, non vedi ancora alcuna prova di un effetto soffitto con il grafico di aggiornamento e le informazioni? Sono abbastanza sorpreso che questa domanda non abbia attirato quasi nessun interesse date le molteplici domande e risposte sull'analisi dei dati con effetti del soffitto presenti.

— massimale

Ciao. Finché stai tramando la varianza tra i soggetti all'aumentare della scala, piuttosto che all'interno dei soggetti, questo non ti dirà qualcosa sugli effetti del soffitto? - puoi ancora usare il test di Levene per testare cambiamenti significativi nella varianza all'aumentare della scala? o è progettato solo per testare le variazioni di variazione della materia? Dovremmo usare un termine diverso per descrivere la variazione dei punteggi delle diverse persone quando la scala aumenta oltre alla "varianza della scala", come "Varianza dei residui"? Il test di levene può essere usato per dimostrare che la "varianza dei residui" è uniforme su tutta la scala

— user45114,

Il problema critico nel decidere se un raggruppamento attorno al punto più alto o più basso è dovuto a un effetto soffitto / pavimento è se i valori dei casi "rappresentano" effettivamente il valore. Quando si verificano effetti soffitto / pavimento, alcuni dei casi, nonostante assumano il valore massimo o minimo, sono in realtà superiori / inferiori al valore massimo o minimo (immagina che un adulto e un bambino finiscano entrambi un test matematico estremamente semplice che pretendeva di misurare capacità matematica, ed entrambi hanno ottenuto il 100%). Qui, i dati sono censurati.

Un altro scenario è anche possibile quando usiamo scale limitate come una scala simile a Likert che ha limiti superiori e inferiori intrinseci. È del tutto possibile che quelli che hanno ottenuto il punteggio più alto valgano davvero quel punteggio e non esistono differenze (come l'esempio di matematica sopra) tra tutti quelli che hanno ottenuto il punteggio più alto. In tal caso, i dati vengono troncati ai limiti, non censurati.

Sulla base del ragionamento di cui sopra, ritengo che si debba escogitare una procedura per adattare un determinato set di dati al troncamento e alla censura dei dati. Se il modello di censura si adattava meglio ai dati, penso che si potrebbe quindi concludere che è presente un effetto soffitto / pavimento.

— wuy3814
fonte