Statistiche e Big Data

8

L'abbondanza di valori di P in assenza di un'ipotesi

Sono in epidemiologia. Non sono uno statistico ma cerco di eseguire le analisi da solo, anche se spesso incontro difficoltà. Ho fatto la mia prima analisi circa 2 anni fa. I valori di P sono stati inclusi ovunque nelle mie analisi (ho semplicemente fatto ciò che altri ricercatori stavano facendo) …

28 probability hypothesis-testing statistical-significance p-value

1

Differenza tra algoritmi k-medie standard e sferici

Vorrei capire qual è la principale differenza di implementazione tra algoritmi di clustering k-medie standard e sferici. In ogni passaggio, k-mean calcola le distanze tra i vettori degli elementi e i centroidi del cluster e riassegna il documento a questo cluster, il cui centroide è il più vicino. Quindi, tutti …

28 clustering data-mining algorithms k-means

3

Perché la centratura di variabili indipendenti può modificare gli effetti principali con moderazione?

Ho una domanda relativa alla regressione multipla e all'interazione, ispirata a questo thread CV: termine di interazione che utilizza l'analisi della regressione gerarchica con variabili centrate? Quali variabili dovremmo centrare? Quando cerco un effetto di moderazione, concentro le mie variabili indipendenti e moltiplico le variabili centrate per calcolare il mio …

28 regression interaction centering

3

Come gestire la multicollinearità quando si esegue la selezione delle variabili?

Ho un set di dati con 9 variabili indipendenti continue. Sto cercando di scegliere tra queste variabili per adattarsi a un modello per una sola percentuale variabile (dipendente), Score. Sfortunatamente, so che ci sarà una seria collinearità tra alcune delle variabili. Ho provato a usare la stepAIC()funzione in R per …

28 r multiple-regression feature-selection multicollinearity

4

Vincolato per la correlazione di tre variabili casuali

Esistono tre variabili casuali, . Le tre correlazioni tra le tre variabili sono le stesse. Questo è,x,y,zx,y,zx,y,z ρ=cor(x,y)=cor(x,z)=cor(y,z)ρ=cor(x,y)=cor(x,z)=cor(y,z)\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z) Qual è il limite più stretto che puoi dare a ρρ\rho ?

28 correlation correlation-matrix

3

Qual è la differenza tra intervalli di confidenza e test di ipotesi?

Ho letto delle controversie riguardanti il test delle ipotesi con alcuni commentatori che suggeriscono che il test delle ipotesi non dovrebbe essere usato. Alcuni commentatori suggeriscono di utilizzare invece intervalli di confidenza . Qual è la differenza tra intervalli di confidenza e test di ipotesi? Spiegazione con riferimento ed esempi …

28 hypothesis-testing confidence-interval

2

Perché RSS distribuito chi square times np?

Vorrei capire perché, sotto il modello OLS, l'RSS (somma residua dei quadrati) è distribuito ( è il numero di parametri nel modello, il numero di osservazioni).p nχ2⋅(n−p)χ2⋅(n−p)\chi^2\cdot (n-p)pppnnn Mi scuso per aver posto una domanda così basilare, ma sembra che non riesca a trovare la risposta online (o nei miei …

28 regression distributions least-squares

6

t-test per dati parzialmente accoppiati e parzialmente non accoppiati

Un investigatore desidera produrre un'analisi combinata di diversi set di dati. In alcuni set di dati ci sono osservazioni accoppiate per il trattamento A e B. In altri ci sono dati A e / o B non accoppiati. Sto cercando un riferimento per un adattamento del test t, o per …

28 hypothesis-testing t-test paired-data change-scores

4

Quali sono i fattori che causano l'intrattabilità delle distribuzioni posteriori?

Nelle statistiche bayesiane, si dice spesso che la distribuzione posteriore è intrattabile e quindi si deve applicare un'inferenza approssimativa. Quali sono i fattori che causano questa intrattabilità?

28 bayesian approximation inference

4

Come eseguire la riduzione della dimensionalità in R

Ho una matrice in cui a (i, j) mi dice quante volte individuo ho visto la pagina j. Ci sono 27K individui e 95K pagine. Vorrei avere una manciata di "dimensioni" o "aspetti" nello spazio delle pagine che corrisponderebbero a gruppi di pagine che vengono spesso visualizzate insieme. Il mio …

28 r clustering dimensionality-reduction

4

Come è possibile che la perdita di validazione stia aumentando mentre aumenta anche l'accuratezza della validazione

Sto addestrando una semplice rete neurale sul set di dati CIFAR10. Dopo qualche tempo, la perdita di validazione ha iniziato ad aumentare, mentre aumenta anche l'accuratezza della validazione. La perdita e l'accuratezza del test continuano a migliorare. Com'è possibile? Sembra che se aumenta la perdita di validazione, l'accuratezza dovrebbe diminuire. …

28 neural-networks deep-learning conv-neural-network overfitting

5

Perché la funzione media nel processo gaussiano non è interessante?

Ho appena iniziato a leggere sui GP e analogo alla normale distribuzione gaussiana è caratterizzata da una funzione media e dalla funzione di covarianza o dal kernel. Ero a un discorso e l'oratore ha detto che la funzione media di solito è piuttosto poco interessante e tutto lo sforzo di …

28 gaussian-process

7

A Naive Bayes, perché preoccuparsi del livellamento di Laplace quando nel set di test abbiamo parole sconosciute?

Oggi stavo leggendo la classifica Naive Bayes. Ho letto, sotto l'intestazione della stima dei parametri con l'aggiunta di un livellamento : Lascia che faccia riferimento a una classe (come Positivo o Negativo) e che faccia riferimento a un token o una parola.cccwww Lo stimatore di massima verosimiglianza per èP( w …

28 machine-learning classification text-mining naive-bayes laplace-smoothing

8

Alla ricerca di un libro di probabilità e statistiche valido e completo

Non ho mai avuto l'opportunità di visitare un corso di statistica di una facoltà di matematica. Sto cercando una teoria della probabilità e un libro di statistiche completo e autosufficiente. Per completo intendo che contiene tutte le prove e non solo i risultati degli stati. Per autosufficienza intendo che non …

28 probability self-study mathematical-statistics references

1

Esistenza del momento che genera funzione e varianza

Una distribuzione con media finita e varianza infinita può avere una funzione generatrice di momenti? Che dire di una distribuzione con media finita e varianza finita ma infiniti momenti più elevati?

28 variance moments mgf