Come posso migliorare la mia analisi degli effetti della reputazione sul voto?

Di recente ho fatto alcune analisi degli effetti della reputazione sui voti positivi (vedi il post sul blog ), e successivamente ho avuto alcune domande su analisi e grafici forse più illuminanti (o più appropriati).

Quindi alcune domande (e sentiti libero di rispondere a qualcuno in particolare e di ignorare gli altri):

1. Nella sua attuale incarnazione, non intendevo centrare il numero postale. Penso che ciò che fa sia dare la falsa apparizione di una correlazione negativa nel grafico a dispersione, poiché ci sono più messaggi verso l'estremità inferiore del conteggio dei post (vedi che questo non accade nel pannello Jon Skeet, solo negli utenti mortali pannello). Non è opportuno non centrare il numero di post (dal momento che intendo il punteggio centrato per il punteggio medio dell'utente)?

2. Dovrebbe essere ovvio dai grafici che il punteggio è molto distorto (e che la centratura media non ha cambiato questo). Quando si adatta una linea di regressione, si adattano sia i modelli lineari che un modello che utilizza gli errori sandwhich Huber-White (tramite rlmnel pacchetto MASS R ) e non ha fatto alcuna differenza nelle stime della pendenza. Avrei dovuto considerare una trasformazione dei dati anziché una regressione robusta? Si noti che qualsiasi trasformazione dovrebbe tenere conto della possibilità di 0 e punteggi negativi. O avrei dovuto usare un altro tipo di modello per i dati di conteggio anziché OLS?

3. Credo che le ultime due grafiche, in generale, potrebbero essere migliorate (ed è anche correlata a migliori strategie di modellazione). Secondo la mia opinione (sfinita), sospetterei che se gli effetti sulla reputazione fossero reali, sarebbero stati realizzati abbastanza presto nella storia di un poster (suppongo che se fossero veri, questi potrebbero essere riconsiderati "hai dato delle risposte eccellenti, quindi ora voterò su tutti i tuoi pubblica effetti "anziché" reputazione per punteggio totale "). Come posso creare un grafico per dimostrare se questo è vero, tenendo conto della sovra-trama? Ho pensato che forse un buon modo per dimostrare questo sarebbe adattarsi a un modello del modulo;

dove è lo stesso (lo stesso degli attuali grafici a dispersione), è il , e sono variabili fittizie che rappresentano un intervallo arbitrario di numeri postali (ad esempio uguale se il numero postale è , uguale se il il numero postale è ecc.). e sono rispettivamente il termine intercettazione generale ed errore. Quindi esaminerei semplicemente le pendenze stimate per determinare se gli effetti della reputazione apparivano all'inizio nella storia di un poster (o visualizzarli graficamente). È un approccio ragionevole (e appropriato)?$Y$score - (mean score per user)$X_1$post number$Z_1 \cdots Z_k$$Z_1$11 through 25$Z_2$126 through 50$\beta_0$$\epsilon$$\gamma$

Sembra popolare adattare un qualche tipo di linea di livellamento non parametrico a grafici a dispersione come questi (come loess o spline), ma la mia sperimentazione con spline non ha rivelato nulla di illuminante (qualsiasi evidenza di effetti postivi nelle prime fasi della storia dei poster era lieve e temperante al numero di spline che ho incluso). Dal momento che ho l'ipotesi che gli effetti si manifestino presto, il mio approccio alla modellazione è più ragionevole delle spline?

Nota anche se ho praticamente dragato tutti questi dati, ci sono ancora molte altre comunità là fuori da esaminare (e alcuni come superutente e serverfault hanno campioni altrettanto grandi da cui attingere), quindi è ragionevole suggerire in futuro analisi che utilizzo un campione di controllo per esaminare qualsiasi relazione.

Questo è un tentativo coraggioso, ma con questi soli dati, sarà difficile o impossibile rispondere alla domanda di ricerca riguardante "l'effetto della reputazione sui voti positivi". Il problema sta nel separare gli effetti di altri fenomeni, che elencherò insieme a brevi indicazioni su come potrebbero essere affrontati.

• Effetti di apprendimento . Man mano che la reputazione aumenta, l'esperienza aumenta; man mano che l'esperienza aumenta, ci aspetteremmo che una persona pubblichi domande e risposte migliori; poiché la loro qualità migliora, ci aspettiamo più voti per post. Concepibilmente, un modo per gestirlo in un'analisi sarebbe quello di identificare le persone che sono attive su più di un sito SE . Su un determinato sito la loro reputazione aumenterebbe più lentamente della quantità della loro esperienza, fornendo così una maniglia per prendere in giro la reputazione e gli effetti di apprendimento.

• Cambiamenti temporali nel contesto. Sono una miriade, ma quelli ovvi includerebbero

  • Cambiamenti nel numero di elettori nel tempo , tra cui una tendenza generale al rialzo, tendenze stagionali (spesso associate a cicli accademici) e valori anomali (derivanti da pubblicità esterna come collegamenti a thread specifici). Qualsiasi analisi dovrebbe tener conto di ciò quando si valutano le tendenze della reputazione per ogni individuo .

  • Cambiamenti nei costumi di una comunità nel tempo . Le comunità e il modo in cui interagiscono, si evolvono e si sviluppano. Nel tempo possono tendere a votare più o meno spesso. Qualsiasi analisi dovrebbe valutare questo effetto e includerlo .

  • Il tempo stesso. Col passare del tempo, i post precedenti rimangono disponibili per la ricerca e continuano a ottenere voti. Così, caeteris paribus , più anziani messaggi dovrebbe produrre più voti di quelli più recenti. (Questo è un forte effetto: alcune persone costantemente alte sui campionati mensili di reputazione non hanno visitato questo sito tutto l'anno!) Ciò maschererebbe o addirittura invertirebbe qualsiasi effetto positivo sulla reputazione. Ogni analisi deve tener conto del periodo di tempo in cui ciascun post è stato presente sul sito .

• Popolarità del soggetto. Alcuni tag (ad esempio, r ) sono molto più popolari di altri. Pertanto, i cambiamenti nel tipo di domande a cui una persona risponde possono essere confusi con cambiamenti temporali, come un effetto reputazione. Pertanto, qualsiasi analisi deve tener conto della natura delle domande a cui si risponde.

• Visualizzazioni [aggiunte come modifica]. Le domande vengono visualizzate da diversi numeri di persone per vari motivi (filtri, collegamenti, ecc.). È possibile che il numero di voti ricevuti dalle risposte sia correlato al numero di visualizzazioni, anche se ci si aspetterebbe una percentuale in calo all'aumentare del numero di visualizzazioni. (È una questione di quante persone veramente interessate alla domanda la vedono effettivamente, non il numero grezzo. La mia esperienza, aneddotica, è che circa la metà dei voti che ricevo su molte domande arriva entro i primi 5-15 viste, anche se alla fine le domande vengono visualizzate centinaia di volte.) Pertanto, qualsiasi analisi deve tener conto del numero di viste, ma probabilmente non in modo lineare.

• Difficoltà di misurazione. "Reputazione" è la somma dei voti ricevuti per le diverse attività: reputazione iniziale, risposte, domande, domande di approvazione, modifica di tag wiki, downvoting e ottenere downvoting (in ordine decrescente di valore). Poiché queste componenti valutano cose diverse e non tutte sono sotto il controllo degli elettori della comunità, dovrebbero essere separate per l'analisi . Un "effetto reputazione" è presumibilmente associato a valutazioni delle risposte e, forse, alle domande, ma non dovrebbe influire su altre fonti di reputazione. La reputazione di partenza sicuramente dovrebbe essere sottratta (ma forse potrebbe essere utilizzata come proxy per un po 'di esperienza iniziale).

• Fattori nascosti Ci possono essere molti altri fattori confondenti che sono impossibili da misurare. Ad esempio, ci sono varie forme di "esaurimento" nella partecipazione ai forum. Cosa fanno le persone dopo poche settimane, mesi o anni di entusiasmo? Alcune possibilità includono concentrarsi su domande rare, insolite o difficili; fornire risposte solo a domande senza risposta; fornire meno risposte ma di qualità superiore; ecc. Alcuni di questi potrebbero mascherare un effetto reputazione, mentre altri potrebbero erroneamente essere confusi con uno. Una delega per tali fattori potrebbe essere la variazione dei tassi di partecipazione di un individuo : essi potrebbero segnalare cambiamenti nella natura dei posti di quella persona.

• Fenomeni di subcomunità. Uno sguardo approfondito alle statistiche, anche su pagine SE molto attive, mostra che un numero relativamente piccolo di persone fa la maggior parte delle risposte e delle votazioni. Una cricca piccola come due o tre persone può avere una profonda influenza sulla crescita della reputazione. Una cricca per due persone verrà rilevata dai monitor incorporati del sito (e uno di questi gruppi esiste su questo sito), ma probabilmente non saranno presenti cricche più grandi. (Non sto parlando di collusione formale: le persone possono essere membri di tali cricche senza nemmeno esserne consapevoli.) Come separeremmo un apparente effetto reputazione dalle attività di queste cricche invisibili, non individuate, informali? Dati di voto dettagliati potrebbero essere utilizzati in modo diagnostico, ma non credo che abbiamo accesso a questi dati.

• Dati limitati. Per rilevare un effetto reputazione, probabilmente dovrai concentrarti su individui con dozzine o centinaia di post (almeno). Ciò riduce l'attuale popolazione a meno di 50 individui. Con tutte le possibilità di variazione e confusione, è troppo piccolo per provocare effetti significativi a meno che non siano davvero molto forti. La cura è quella di aumentare il set di dati con i record di altri siti SE .

Date tutte queste complicazioni, dovrebbe essere chiaro che la grafica esplorativa nell'articolo del blog ha poche possibilità di rivelare qualcosa a meno che non sia palesemente ovvio. Nulla ci salta fuori: come previsto, i dati sono disordinati e complicati. È prematuro raccomandare miglioramenti ai grafici o all'analisi che è stata presentata: modifiche incrementali e analisi aggiuntive non aiuteranno fino a quando questi problemi fondamentali non saranno stati affrontati .

$Y_t$$Z_t$$Y_t = a_0 + a_1 Y_{t-1} + a_2 Z_{t-1} + \epsilon_t$$Z_t = b_0 + b_1 Y_{t-1} + b_2 Z_{t-1} + \delta_t$$a_2$$Z$$Y$$Z$$Y$$t$$\Delta Y_t = Y_t - Y_{t-1}$$Y_t$$F$$\chi^2$$T^{-1}$$T^{-1/2}$$Y_t$$Z_t$$a_0$$a_1$$a_2$

Al punto 1: se avessi fatto effetti fissi a mano, avresti dovuto centrare sia la variabile di risposta sia le variabili esplicative. Il pacchetto di regressione dei dati del panel lo avrebbe fatto per te, ma il modo econometrico ufficiale di guardare le cose è sottrarre la regressione "tra" dalla regressione "aggregata" (vedi il libro nero di Wooldridge ; non ho controllato la seconda edizione, ma generalmente vedo la prima edizione come la migliore descrizione da manuale dei dati del pannello econometrico).

Sul tuo punto 2: ovviamente gli errori standard di Eicker / White non influenzeranno le tue stime dei punti; se lo facessero, ciò indicherebbe un'implementazione errata! Nel contesto delle serie temporali, uno stimatore ancora più appropriato è dovuto a Newey e West (1987) . Provare trasformazioni potrebbe aiutare. Personalmente sono un grande fan della trasformazione di Box-Cox, ma nel contesto dell'analisi che stai intraprendendo, è difficile farlo in modo pulito. In primo luogo, avresti bisogno di un parametro di spostamento in cima al parametro di forma e i parametri di spostamento sono notoriamente difficili da identificare in modelli come questo. In secondo luogo, probabilmente avresti bisogno di parametri di spostamento / forma diversi per persone diverse e / o post diversi e / o ... (tutto l'inferno si scatena). Anche i dati di conteggio sono un'opzione, ma nel contesto della modellazione media, una regressione di Poisson è altrettanto buona della trasformazione del log, ma impone un'ipotesi ingombrante di varianza = media.

PS Potresti probabilmente etichettarlo con "dati longitudinali" e "serie temporali".

Diverse altre modifiche ai grafici:

1. Bande quantiche per il punteggio di risposta rispetto alla reputazione precedente. (Grafici 1 e 3)
2. Diagrammi di densità per Skeet rispetto ad altri, stratificati per posta # (grafico 3)
3. Valuta la stratificazione per numero di post in competizione
4. Stratificare per tempo (si può continuare a guadagnare punti molto tempo dopo che la domanda è stata posta)

Modellare questo sarà più difficile. Potresti considerare la regressione di Poisson. Francamente, però, sviluppare buone trame è un metodo molto migliore per sviluppare intuizioni e abilità. Inizia la modellazione dopo aver compreso meglio i dati.

Whoa lì. (E intendo che in senso buono ;-)) Prima di andare oltre con i modelli, è necessario affrontare cosa sta succedendo con i dati.

Non vedo una spiegazione per la curva molto particolare nel mezzo di questa trama: http://stats.blogoverflow.com/files/2011/07/Rep_Correlated_With_Upvotes.png

Vedere una tale curva mi fa pensare che ci sia qualcosa di molto strano in quei punti - che non sono indipendenti l'uno dall'altro e riflettono invece una sequenza di osservazioni della stessa fonte.

(Nota minore: intitolare quella trama "Correlazione ..." è fuorviante.)