Statistiche e Big Data

1

Sto cercando di valutare le prestazioni di un algoritmo di classificazione di apprendimento automatico supervisionato. Le osservazioni rientrano nelle classi nominali (2 per il momento, tuttavia mi piacerebbe generalizzare questo a problemi multi-classe), tratte da una popolazione di 99 soggetti. Una delle domande a cui vorrei poter rispondere è se …

11 r hypothesis-testing nonparametric

1

Chiarimento sulla massimizzazione delle aspettative

Ho trovato un tutorial molto utile per quanto riguarda l' algoritmo EM . L'esempio e l'immagine del tutorial sono semplicemente geniali. Domanda correlata sul calcolo delle probabilità come funziona la massimizzazione delle aspettative? Ho un'altra domanda su come collegare la teoria descritta nell'esercitazione all'esempio. gtgtg_tlogP( x ; Θ )log⁡P(x;Θ)\log P(x;\Theta)gt( …

11 machine-learning clustering algorithms natural-language

2

Laplace smoothing e Dirichlet precedenti

Sul articolo wikipedia di Laplace smoothing (o lisciatura additivo), si dice che da un punto di vista Bayesiano, questo corrisponde al valore atteso della distribuzione posteriore, usando una distribuzione di Dirichlet simmetrica con il parametro come precedente.αα\alpha Sono perplesso su come sia effettivamente vero. Qualcuno potrebbe aiutarmi a capire come …

11 bayesian smoothing dirichlet-distribution laplace-smoothing

1

Distribuzione campionaria del raggio di distribuzione normale 2D

La distribuzione normale bivariata con media e matrice di covarianza può essere riscritta in coordinate polari con raggio e angolo . La mia domanda è: qual è la distribuzione campionaria di , cioè della distanza da un punto al centro stimato data la matrice di covarianza del campione ?μμ\muΣΣ\Sigmaθ r …

11 probability normal-distribution multivariate-analysis rayleigh

3

La modularità della rete di Newman funziona per grafici firmati e ponderati?

La modularità di un grafico è definita sulla sua pagina Wikipedia . In un altro posto , qualcuno spiegato che modularità può essere calcolata facilmente (e massimizzato) per le reti ponderate perché la matrice di adiacenza può pure contenere legami valutati. Tuttavia, vorrei sapere se funzionerebbe anche con i bordi …

11 clustering data-visualization networks partitioning modularity

1

Cosa devo fare quando i valori di AIC sono bassi e approssimativamente uguali?

Chris Chatfield, di cui mi sono divertito a leggere molti libri e articoli di qualità, in (1) offre i seguenti consigli: Ad esempio, la scelta tra i modelli di serie temporali ARIMA con valori bassi e approssimativamente uguali dell'AIC dovrebbe probabilmente essere fatta, non su quale capiti per dare il …

11 forecasting model-selection arima aic

4

Come fissare un coefficiente e adattarlo agli altri usando la regressione

Vorrei fissare manualmente un certo coefficiente, diciamo , quindi adattare i coefficienti a tutti gli altri predittori, mantenendo β 1 = 1.0 nel modello.β1= 1.0β1=1.0\beta_1=1.0β1= 1.0β1=1.0\beta_1=1.0 Come posso ottenere questo usando R? Mi piacerebbe particolarmente lavorare con LASSO ( glmnet) se possibile. In alternativa, come posso limitare questo coefficiente a …

11 r multiple-regression lasso glmnet constrained-regression

2

Che cosa significa quando tutti i bordi di una rete / grafico del mondo reale sono statisticamente altrettanto probabili accadere per caso?

Ho usato il metodo di estrazione della rete backbone delineato in questo documento: http://www.pnas.org/content/106/16/6483.abstract Fondamentalmente, gli autori propongono un metodo basato sulla statistica che produce una probabilità, per ogni fronte nel grafico, che il margine potrebbe essere accaduto per caso. Uso il tipico limite di significatività statistica di 0,05. Ho …

11 probability statistical-significance data-visualization graph-theory networks

2

Spiegare il metodo generalizzato dei momenti a un non statistico

Come posso spiegare i metodi generalizzati dei momenti e come viene utilizzato da un non statistico? Finora vado avanti: è qualcosa che usiamo per stimare condizioni come medie e variazioni basate sui campioni che abbiamo raccolto. Come posso spiegare la parte in cui si stima il vettore dei parametri minimizzando …

11 generalized-moments method-of-moments

1

Come calcolare una deviazione media e standard per una distribuzione lognormale usando 2 percentili

Sto cercando di calcolare una deviazione media e standard da 2 percentili per una distribuzione lognormale. Sono riuscito a eseguire il calcolo per una distribuzione normale usando X = mean + sd * Ze risolvendo media e sd. Penso che mi manca un'equazione quando provo a fare la stessa cosa …

11 r lognormal

2

Perché usare i dati della sezione trasversale per inferire / prevedere i cambiamenti longitudinali è una cosa negativa?

Sto cercando un documento che spero esista, ma non so se lo fa. Potrebbe essere una serie di casi studio, e / o un argomento della teoria della probabilità, sul perché l'uso di dati trasversali per inferire / prevedere i cambiamenti longitudinali può essere una cosa negativa (cioè non è …

11 references panel-data inference causality cross-section

2

Distribuzione della somma dei quadrati delle variabili casuali distribuite a T.

Sto osservando la distribuzione della somma dei quadrati delle variabili casuali distribuite a T, con esponente di coda αα\alpha . Dove X è il camper, la trasformata di Fourier per X2X2X^2 , F( t )F(t)\mathscr{F}(t) mi dà una soluzione per il quadrato prima della convoluzione F( t )nF(t)n\mathscr{F}(t)^n . F( …

11 probability sums-of-squares

7

Come spiegheresti il significato statistico per le persone senza background statistico?

Sfondo: ho dovuto eseguire un'analisi dei dati per un cliente (una specie di avvocato) che era un principiante assoluto in statistica. Mi ha chiesto cosa significa il termine "significato statistico" e ho davvero cercato di spiegarlo ... ma dato che non sono bravo a spiegare le cose, ho fallito;)

11 statistical-significance inference communication

1

Qual è l'intuizione alla base della metrica variazione di informazioni (VI) per la convalida dei cluster?

Per i non statistici come me, è molto difficile catturare l'idea di VImetrica (variazione delle informazioni) anche dopo aver letto l'articolo pertinente di Marina Melia " Confronto di clustering - Una distanza basata sull'informazione " (Journal of Multivariate Analysis, 2007). In effetti, non ho familiarità con molti dei termini dei …

11 r clustering validation intuition

4

Regressione logistica e punto di flesso

Abbiamo dati con esito binario e alcune covariate. Ho usato la regressione logistica per modellare i dati. Solo una semplice analisi, niente di straordinario. L'output finale dovrebbe essere una curva dose-risposta in cui mostriamo come cambia la probabilità per una specifica covariata. Qualcosa come questo: Abbiamo ricevuto alcune critiche da …

11 regression logistic generalized-linear-model binary-data