Rilevamento di schemi di imbrogli in un esame a più domande

DOMANDA:

Ho dati binari su domande d'esame (corretto / errato). Alcune persone potrebbero aver avuto accesso preliminare a un sottoinsieme di domande e alle loro risposte corrette. Non so chi, quanti o quali. Se non ci fossero imbrogli, supponiamo che modellerei la probabilità di una risposta corretta per l'elemento come , dove rappresenta la difficoltà della domanda e è l'abilità latente dell'individuo. Questo è un modello di risposta degli oggetti molto semplice che può essere stimato con funzioni come ltm's rasch () in R. Oltre alle stime (dove indicizza gli individui) della variabile latente, ho accesso a stime separatel o g i t ( ( p i = 1 | z ) ) = β i + z β i z z j j q$i$$logit((p_i = 1 | z)) = \beta_i + z$$\beta_i$$z$$\hat{z}_j$$j$$\hat{q}_j$ della stessa variabile latente derivata da un altro set di dati in cui non era possibile imbrogliare.

L'obiettivo è identificare le persone che probabilmente hanno imbrogliato e gli oggetti su cui hanno tradito. Quali sono alcuni approcci che potresti adottare? Oltre ai dati non , , e sono tutti disponibili, anche se i primi due avranno qualche pregiudizio a causa di imbrogli. Idealmente, la soluzione dovrebbe presentarsi sotto forma di cluster / classificazione probabilistica, sebbene ciò non sia necessario. Le idee pratiche sono molto apprezzate così come gli approcci formali. z j q$\hat{\beta}_i$$\hat{z}_j$$\hat{q}_j$

Finora, ho confrontato la correlazione dei punteggi delle domande per coppie di individui con punteggi più alti o più bassi (dove è un indice approssimativo della probabilità che abbiano imbrogliato). Ad esempio, ho ordinato gli individui per e poi tracciato la correlazione delle coppie successive di punteggi delle domande degli individui. Ho anche provato a tracciare la correlazione media dei punteggi per gli individui i cui valori erano maggiori del quantile di , in funzione di . Nessun modello ovvio per nessuno dei due approcci. q j - Z j q j - Z j q j - Z jnth q j - Z j$\hat{q}_j -\hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$n^{th}$$\hat{q}_j - \hat{z}_j$$n$

---

AGGIORNARE:

Ho finito per unire le idee di @SheldonCooper e l'utile documento di Freakonomics che @whuber mi ha indicato. Altre idee / commenti / critiche sono benvenute.

Lascia che sia il punteggio binario della persona alla domanda . Stimare il modello di risposta dell'oggetto dove è il parametro di facilità e è una variabile di abilità latente. (Un modello più complicato può essere sostituito; I sto usando un 2PL nella mia applicazione. Come ho già detto nel mio post originale, ho delle stime della variabile abilità da un set di dati separato (elementi diversi, stesse persone) su quale imbroglio non era possibile. In particolare, sono stime empiriche di Bayes dello stesso modello di risposta degli oggetti di cui sopra. j i l o g i t ( P r ( X i j = 1 | z j ) = β i + z j , β i z j ^ q j { y i j } ^ q $X_{ij}$$j$$i$

$$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$$ $\beta_i$$z_j$$\hat{q_j }$$\{y_{ij}\}$$\hat{q_j}$

La probabilità del punteggio osservato , in base alla facilità dell'oggetto e all'abilità della persona, può essere scritta dove è la probabilità prevista di una risposta corretta e è il logit inverso. Quindi, in base alle caratteristiche dell'oggetto e della persona, la probabilità congiunta che la persona abbia le osservazioni è e allo stesso modo, la probabilità congiunta che l'articolo abbia le osservazioni p i j = P r ( X i j = x i j | ^ β i , ^ q j ) = P i j ( ^ β i , ^ q j ) x i j ( 1 - P i j ( ^ β i , ^ q j ) ) 1 - $x_{ij}$Pij( ^ β i , ^ q j )=ilogit( ^ β i + ^ q j )ilogitjxjpj= ∏ ipij,ixipi= ∏ jpij

$$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$$ $P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$$ilogit$$j$$x_j$ $$p_j = \prod_i p_{ij},$$ $i$$x_i$ èLe persone con i valori di più bassi sono quelle i cui punteggi osservati sono condizionatamente meno probabili - probabilmente sono imbroglioni. Gli articoli con i valori più bassi sono quelli che sono condizionalmente meno probabili: sono i possibili elementi trapelati / condivisi. Questo approccio si basa sulle ipotesi che i modelli siano corretti e che la persona punteggi ‘s sono subordinati scorrelati sulla persona e la voce caratteristiche. Una violazione del secondo presupposto non è tuttavia problematica, purché il grado di correlazione non vari tra le persone e il modello di possa essere facilmente migliorato (ad esempio aggiungendo ulteriori caratteristiche di persona o oggetto). $$p_i = \prod_j p_{ij}.$$ p j j p i $p_j$$p_j$$j$$p_{ij}$

Un ulteriore passaggio che ho provato è di prendere il r% delle persone meno probabili (cioè le persone con il r% più basso di valori p_j ordinati), calcolare la distanza media tra i loro punteggi osservati x_j (che dovrebbe essere correlato per le persone con r basso, che sono possibili imbroglioni), e traccialo per r = 0,001, 0,002, ..., 1.000. La distanza media aumenta per r = da 0,001 a r = 0,025, raggiunge un massimo, quindi diminuisce lentamente al minimo a r = 1. Non esattamente quello che speravo.

Approccio ad hoc

Suppongo che sia ragionevolmente affidabile perché è stato stimato su molti studenti, la maggior parte dei quali non ha tradito la domanda . Per ogni studente , ordina le domande in ordine di difficoltà crescente, calcola (nota che i j β i + q j q $\beta_i$$i$$j$$\beta_i + q_j$$q_j$è solo un offset costante) e soglia in un punto ragionevole (es. p (corretto) <0.6). Questo dà una serie di domande alle quali è improbabile che lo studente risponda correttamente. Ora puoi usare il test delle ipotesi per vedere se questo è violato, nel qual caso lo studente probabilmente ha tradito (supponendo ovviamente che il tuo modello sia corretto). Un avvertimento è che se ci sono poche di queste domande, potresti non avere abbastanza dati per il test per essere affidabile. Inoltre, non penso che sia possibile determinare su quale domanda ha tradito, perché ha sempre il 50% di possibilità di indovinare. Ma se supponi inoltre che molti studenti abbiano avuto accesso (e tradito) alla stessa serie di domande, puoi confrontarle tra gli studenti e vedere a quali domande è stata data risposta più spesso del caso.

Puoi fare un trucco simile con le domande. Vale a dire per ogni domanda, ordina gli studenti per , aggiungi (questo è ora un offset costante) e soglia alla probabilità 0.6. Questo ti dà un elenco di studenti che non dovrebbero essere in grado di rispondere correttamente a questa domanda. Quindi hanno una probabilità del 60% di indovinare. Ancora una volta, fai test di ipotesi e vedi se questo è violato. Questo funziona solo se la maggior parte degli studenti ha tradito la stessa serie di domande (ad esempio se un sottoinsieme di domande "trapelava" prima dell'esame).β $q_j$$\beta_i$

Approccio di principio

Per ogni studente, esiste una variabile binaria con un Bernoulli precedente con qualche probabilità adeguata, che indica se lo studente è un imbroglione. Per ogni domanda c'è una variabile binaria , sempre con qualche Bernoulli adatto prima, che indica se la domanda è trapelata. Quindi c'è una serie di variabili binarie , che indica se lo studente risposto correttamente alla domanda . Se e , la distribuzione di è Bernoulli con probabilità 0,99. Altrimenti la distribuzione è . Questi sono le variabili osservate.l i a i j j i c j = 1 l i = 1 a i j l o g i t ( β i + q j ) a i j c j l $c_j$$l_i$$a_{ij}$$j$$i$$c_j = 1$$l_i = 1$$a_{ij}$$logit(\beta_i + q_j)$$a_{ij}$$c_j$ e sono nascosti e devono essere dedotti. Probabilmente puoi farlo campionando Gibbs. Ma potrebbero anche essere possibili altri approcci, forse qualcosa legato al ciclismo.$l_i$

Se vuoi entrare in approcci più complessi, potresti esaminare i modelli di teoria della risposta degli oggetti. È quindi possibile modellare la difficoltà di ogni domanda. Gli studenti che hanno corretto gli articoli difficili mentre ne mancano di più facili, credo, avrebbero maggiori probabilità di barare rispetto a quelli che hanno fatto il contrario.

È passato più di un decennio da quando ho fatto questo genere di cose, ma penso che potrebbe essere promettente. Per maggiori dettagli, dai un'occhiata ai libri di psicometria