Statistiche e Big Data

2

Come posso utilizzare questi dati per calibrare marcatori con diversi livelli di generosità nella valutazione dei documenti degli studenti?

12 insegnanti insegnano a 600 studenti. Le 12 coorti insegnate da questi insegnanti variano da 40 a 90 studenti e prevediamo differenze sistematiche tra le coorti, poiché gli studenti laureati sono stati assegnati in modo sproporzionato a determinate coorti e l'esperienza precedente ha dimostrato che gli studenti laureati in media …

9 teaching agreement-statistics

1

Uso della teoria dell'informazione nella scienza dei dati applicata

Oggi mi sono imbattuto nel libro "Teoria dell'informazione: un'introduzione al tutorial" di James Stone e ho riflettuto per un momento o due sull'estensione dell'uso della teoria dell'informazione nella scienza dei dati applicati (se non ti senti a tuo agio con questo termine ancora un po 'confuso, pensa all'analisi dei dati …

9 information-theory

5

Test di ipotesi di Poisson per due parametri

Quindi, per divertimento, sto prendendo alcuni dei dati delle chiamate dal call center in cui lavoro e sto provando a fare alcuni test di ipotesi su di essi, in particolare il numero di chiamate ricevute in una settimana, e usando una distribuzione Poisson per adattarla. A causa dell'argomento del mio …

9 hypothesis-testing poisson-distribution

1

X, Y sono iid da N (0,1). Qual è la probabilità che X> 2Y

Stavo pensando, poiché provengono da N ( 0 , 1 ) e sono indipendenti, quindiX, YX,YX, YN( 0 , 1 )N(0,1)N(0,1) ha una distribuzione di N ( 0 , 5 ) . Poi X - 2 Y > 0 ha probabilità di 1 / 2 .X- 2 YX−2YX - 2YN( …

9 probability normal-distribution

2

Come rappresentare l'utilizzo di kWh per anno rispetto alla temperatura media?

Solo per divertimento, voglio tracciare un grafico del mio consumo mensile di energia domestica anno su anno. Tuttavia, desidero includere alcuni riferimenti alla temperatura mensile in modo da poter determinare se la mia casa o il mio comportamento sta migliorando, peggiorando o mantenendo costante per quanto riguarda l'utilizzo di kWh. …

9 data-visualization

1

Qual è la differenza tra condizionare i regressori e trattarli come fissi?

A volte assumiamo che i regressori siano fissi, cioè non stocastici. Penso che ciò significhi che tutti i nostri predittori, le stime dei parametri ecc. Sono incondizionati, giusto? Potrei anche spingermi così lontano che non sono più variabili casuali? Se d'altra parte accettiamo che la maggior parte dei regressori in …

9 regression inference philosophical conditioning ancillary-statistics

4

Il numero atteso di tiri di dado richiede di fare una somma maggiore o uguale a K?

Un dado a 6 facce viene lanciato ripetutamente. Qual è il numero previsto di tiri richiesti per fare una somma maggiore o uguale a K? Prima della modifica P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6 P(Sum>=3 in …

9 self-study mean expected-value dice saddlepoint-approximation

2

Conclusioni dall'output di un'analisi della componente principale

Sto cercando di comprendere l'output dell'analisi dei componenti principali eseguita come segue: > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0.2 setosa 3 4.7 3.2 1.3 0.2 setosa 4 4.6 3.1 1.5 0.2 setosa 5 5.0 3.6 1.4 0.2 setosa 6 …

9 r pca interpretation

1

LASSO per modelli esplicativi: parametri ridotti o no?

Sto conducendo un'analisi in cui l'obiettivo principale è comprendere i dati. Il set di dati è abbastanza grande per la convalida incrociata (10k) e i predittori includono variabili continue e fittizie e il risultato è continuo. L'obiettivo principale era vedere se ha senso eliminare alcuni predittori, al fine di rendere …

9 lasso explanatory-models

2

OLS è asintoticamente efficiente sotto l'eteroscedasticità

So che OLS è imparziale ma non efficiente sotto l'eteroscedasticità in una regressione lineare. In Wikipedia http://en.wikipedia.org/wiki/Minimum_mean_square_error Lo stimatore MMSE è asintoticamente imparziale e converge nella distribuzione alla distribuzione normale: , dove I (x) è l'informazione di Fisher di x. Pertanto, lo stimatore MMSE è asintoticamente efficiente.n--√( x^- x ) …

9 least-squares heteroscedasticity efficiency

1

Limitazioni MCMC / EM? MCMC over EM?

Attualmente sto imparando i modelli gerarchici bayesiani usando JAGS da R, e anche pymc usando Python ( "Metodi bayesiani per hacker" ). Da questo post posso trarre qualche intuizione : "finirai con un mucchio di numeri che sembrano" come se "tu fossi in qualche modo riuscito a prendere campioni indipendenti …

9 bayesian mcmc expectation-maximization

2

Citazione per il test statistico per la differenza tra due rapporti di probabilità?

In un commento qui , @gung ha scritto, Credo che possano sovrapporsi un po '(forse ~ 25%) e comunque essere significativi al livello del 5%. Ricorda che l'IC 95% che vedi è per il singolo OR, ma il test di 2 OR riguarda la differenza tra loro. Tuttavia, se non …

9 logistic confidence-interval odds-ratio references

1

Come generare matrici ortogonali uniformemente casuali di determinante positivo?

Probabilmente ho una domanda stupida su quale, devo confessare, sono confuso. Immagina la generazione ripetuta di una matrice ortogonale (ortogonale) casuale uniformemente distribuita di qualche dimensione . A volte la matrice generata ha il determinante e talvolta ha il determinante . (Esistono solo due valori possibili. Dal punto di vista …

9 mathematical-statistics matrix random-generation rotation determinant

1

L'algoritmo EM stima costantemente i parametri nel modello di miscela gaussiana?

Sto studiando il modello di miscela gaussiana e mi pongo questa domanda da solo. Supponiamo che i dati sottostanti siano generati da una miscela di distribuzione gaussiana di e ciascuno di essi abbia un vettore medio , dove e ciascuno di essi ha lo stesso co- matrice di varianza e …

9 self-study expectation-maximization gaussian-mixture consistency

6

Quali sono buoni esempi da mostrare agli studenti universitari?

Insegnerò statistica come assistente di insegnamento per la seconda metà di questo semestre a studenti universitari orientati al CS. La maggior parte degli studenti della classe non ha alcun incentivo per apprendere la materia e l'ha presa solo per esigenze importanti. Voglio rendere la materia interessante e utile, non solo …

9 hypothesis-testing confidence-interval teaching