Statistiche e Big Data

Ho stimato un modello lineare robusto Rcon pesi MM usando il rlm()pacchetto MASS. `R`` non fornisce un valore per il modello, ma vorrei averne uno se si tratta di una quantità significativa. Sono anche interessato a sapere se c'è qualche significato nell'avere un valore che pesa la varianza totale e …

19 r  goodness-of-fit  r-squared  robust  rlm 

Abbiamo eseguito un split test di una nuova funzionalità di prodotto e vogliamo misurare se l'aumento delle entrate è significativo. Le nostre osservazioni sicuramente non sono normalmente distribuite (la maggior parte dei nostri utenti non spende, e all'interno di quelle che lo fanno, è fortemente distorta nei confronti di molti …

19 bootstrap  outliers 

Ho visto un diagramma LDA (linear discriminant analysis) con limiti di decisione da The Elements of Statistical Learning : Comprendo che i dati vengono proiettati su un sottospazio di dimensione inferiore. Tuttavia, vorrei sapere come ottenere i limiti di decisione nella dimensione originale in modo da poter proiettare i limiti …

19 r  references  discriminant-analysis 

Vorrei sapere se ha senso logico eseguire l'analisi dei componenti principali (PCA) e l'analisi dei fattori esplorativi (EFA) sullo stesso set di dati. Ho sentito che i professionisti raccomandano espressamente: Capire qual è l'obiettivo dell'analisi e scegliere PCA o EFA per l'analisi dei dati; Dopo aver effettuato un'analisi, non è …

19 pca  factor-analysis 

Supponiamo che sto calcolando alcuni parametri del modello per minimizzare la somma dei residui quadrati e suppongo che i miei errori siano gaussiani. Il mio modello produce derivati ​​analitici, quindi l'ottimizzatore non deve utilizzare differenze finite. Una volta che l'adattamento è completo, voglio calcolare gli errori standard dei parametri montati. …

19 standard-error  fitting 

Come decidere l'asimmetria guardando un diagramma a scatole costruito da questi dati: 340, 300, 520, 340, 320, 290, 260, 330 Un libro dice: "Se il quartile inferiore è più lontano dalla mediana rispetto al quartile superiore, la distribuzione è distorta negativamente". Diverse altre fonti hanno detto più o meno lo …

19 outliers  skewness  boxplot 

Sono un epidemiologo che cerca di comprendere i GEE al fine di analizzare correttamente uno studio di coorte (utilizzando la regressione di Poisson con un log log, per stimare il rischio relativo). Ho alcune domande sulla "correlazione di lavoro" che vorrei che qualcuno più esperto chiarisse: (1) Se ho ripetute …

19 gee 

Questa non è una domanda strettamente statistica - posso leggere tutti i libri di testo sui presupposti ANOVA - Sto cercando di capire come gli analisti che lavorano effettivamente gestiscono i dati che non soddisfano del tutto i presupposti. Ho passato molte domande su questo sito in cerca di risposte …

19 anova  heteroscedasticity  assumptions 

Sono interessato a utilizzare il cursore per fare inferenze su un determinato set di dati. È possibile effettuare le seguenti operazioni: produrre coefficienti di un modello di glmnet che ho addestrato al punto di inserimento. Vorrei usare glmnet a causa della selezione intrinseca delle funzionalità in quanto non credo che …

19 caret  glmnet 

Ricordo di aver letto da qualche parte sul web una connessione tra regressione della cresta (con ℓ2ℓ2\ell_2 regolarizzazione) e regressione della PCA: durante l'utilizzo della regressione ℓ2ℓ2\ell_2 regolata con iperparametro λλ\lambda , se λ→0λ→0\lambda \to 0 , la regressione equivale alla rimozione della variabile PC con il più piccolo autovalore. …

19 regression  pca  regularization  ridge-regression 

Sto sperimentando foreste casuali con scikit-learn e sto ottenendo grandi risultati dal mio set di allenamento, ma risultati relativamente scarsi sul mio set di test ... Ecco il problema (ispirato al poker) che sto cercando di risolvere: date le carte coperte del giocatore A, le carte coperte del giocatore B …

19 classification  random-forest  scikit-learn 

Qual è il modo migliore per visualizzare graficamente una funzione di densità 3D? Come in vorrei visualizzare ?z=fX,Y(x,y)z=fX,Y(X,y)z=f_{X,Y}(x,y) Non necessario ma il Rcodice per questo sarebbe fantastico.

19 r  data-visualization  methodology 

Ho un problema con la prova di E(Y|X)∈argming(X)E[(Y−g(X))2]E(Y|X)∈arg⁡ming(X)E[(Y−g(X))2]E(Y|X) \in \arg \min_{g(X)} E\Big[\big(Y - g(X)\big)^2\Big] che molto probabilmente rivelano un più profondo fraintendimento di aspettative e aspettative condizionate. La prova che conosco è la seguente (un'altra versione di questa prova può essere trovata qui ) ===argming(X)E[(Y−g(x))2]argming(X)E[(Y−E(Y|X)+E(Y|X)−g(X))2]argming(x)E[(Y−E(Y|X))2+2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]argming(x)E[2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]arg⁡ming(X)E[(Y−g(x))2]=arg⁡ming(X)E[(Y−E(Y|X)+E(Y|X)−g(X))2]=arg⁡ming(x)E[(Y−E(Y|X))2+2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]=arg⁡ming(x)E[2(Y−E(Y|X))(E(Y|X)−g(X))+(E(Y|X)−g(X))2]\begin{align*} &\arg \min_{g(X)} E\Big[\big(Y - g(x)\big)^2\Big]\\ …

19 mathematical-statistics  conditional-probability  proof  conditional-expectation 

Ultimamente ho fatto ricerche sulla versione bayesiana delle statistiche classiche. Dopo aver letto del fattore Bayes, mi sono lasciato interrogare se l'analisi della potenza è una necessità in questa visione delle statistiche. Il motivo principale per cui mi chiedo questo è che il fattore Bayes sembra davvero essere un rapporto …

19 bayesian  power-analysis 

Come ottengo i valori p usando la multinomfunzione del nnetpacchetto in R? Ho un set di dati che consiste di "punteggi patologici" (assente, lieve, grave) come variabile di risultato e due effetti principali: età (due fattori: venti / trenta giorni) e gruppo di trattamento (quattro fattori: infetti senza ATB; infetti …

19 r  regression  p-value  multinomial