Statistiche e Big Data

2

Significato delle probabilità di transizione iniziali in un modello markov nascosto

Quali sono i vantaggi di dare determinati valori iniziali alle probabilità di transizione in un modello nascosto di Markov? Alla fine il sistema li imparerà, quindi che senso ha dare valori diversi da quelli casuali? L'algoritmo sottostante fa la differenza come Baum-Welch? Se conosco le probabilità di transizione all'inizio in …

11 machine-learning expectation-maximization hidden-markov-model

2

Qual è la potenza del test di regressione F?

Il classico test F per sottoinsiemi di variabili nella regressione multilineare ha la forma dove è la somma degli errori al quadrato nel modello "ridotto", che nidifica nel modello "grande" , e sono i gradi di libertà del due modelli. Nell'ipotesi nulla che le variabili extra nel modello "grande" non …

11 regression hypothesis-testing power-analysis non-central f-distribution

1

Riduzione del numero di livelli della variabile predittore categoriale non ordinata

Voglio addestrare un classificatore, diciamo SVM, o foresta casuale, o qualsiasi altro classificatore. Una delle funzionalità nel set di dati è una variabile categoriale con 1000 livelli. Qual è il modo migliore per ridurre il numero di livelli in questa variabile. In R c'è una funzione chiamata combine.levels()nel pacchetto Hmisc …

11 classification svm random-forest many-categories

2

Vale la pena di pubblicare sul wiki arbitrato StatProb.com? [chiuso]

Chiuso . Questa domanda è basata sull'opinione . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che possa essere risolta con fatti e citazioni modificando questo post . Chiuso 7 mesi fa . sfondo Ho letto di StatProb.com da un commento sul blog di …

11 probability references methodology

1

Che cos'è questo "coefficiente di correlazione massimo"?

Una tipica statistica di elaborazione delle immagini è l'uso delle funzioni della trama di Haralick , che sono 14. Mi chiedo la quattordicesima di queste caratteristiche: data una mappa di adiacenza (che possiamo semplicemente visualizzare una distribuzione empirica di due numeri interi i , j < 256 ), è definita …

11 probability computational-statistics

1

Determinare se il cambiamento in una serie storica è statisticamente significativo

Ho il numero totale di chiamate ricevute ogni settimana e le ho tracciate su un diagramma, risalente a quasi 3 anni fa. A occhio sembra che ci sia stato un forte calo nel periodo di Natale, che non sembra essersi ripreso, sembra che ci sia stato un cambiamento nelle richieste. …

11 time-series statistical-significance change-point

2

C'è un modo per spiegare una previsione da un modello di foresta casuale?

Supponiamo di avere un modello di classificazione predittivo basato su una foresta casuale (usando il pacchetto randomForest in R). Vorrei impostarlo in modo tale che gli utenti finali possano specificare un elemento per cui generare una previsione e genererà una probabilità di classificazione. Finora nessun problema. Ma sarebbe utile / …

11 machine-learning random-forest

3

Misurazione della dipendenza non lineare

La covarianza tra due variabili casuali definisce una misura di quanto siano linearmente correlate tra loro. Ma cosa succede se la distribuzione articolare è circolare? Sicuramente c'è una struttura nella distribuzione. Come viene estratta questa struttura?

11 covariance-matrix

2

Come posso selezionare il numero di componenti per l'analisi dei componenti indipendenti?

In assenza di buone ipotesi a priori sul numero di componenti da richiedere in Independent Components Analysis, sto cercando di automatizzare un processo di selezione. Penso che un criterio ragionevole potrebbe essere il numero che minimizza l'evidenza globale per la correlazione tra i componenti calcolati. Ecco lo pseudocodice di questo …

11 ica

2

Come disegnare un diagramma di interazione con intervalli di confidenza?

I miei tentativi: Non riuscivo a ottenere intervalli di confidenza interaction.plot() e d'altra parte plotmeans()dal pacchetto 'gplot' non mostrerebbe due grafici. Inoltre, non ho potuto imporre due plotmeans()grafici uno sopra l'altro perché di default l'asse è diverso. Ho avuto un certo successo usando plotCI()dal pacchetto 'gplot' e sovrapponendo due grafici, …

11 r data-visualization confidence-interval interaction

4

Cosa significa che uno studio è sovraccarico?

Cosa significa che uno studio è sovraccarico? La mia impressione è che ciò significhi che le dimensioni del tuo campione sono così grandi che hai il potere di rilevare dimensioni di effetto minuscole. Queste dimensioni dell'effetto sono forse così piccole che hanno maggiori probabilità di derivare da lievi distorsioni nel …

11 statistical-significance sample-size effect-size power-analysis power

4

Come generare una matrice di correlazione casuale che ha voci fuori diagonale distribuite approssimativamente normalmente con una deviazione standard determinata?

Vorrei generare una matrice di correlazione casuale in modo tale che la distribuzione dei suoi elementi off-diagonali appaia approssimativamente normale. Come posso farlo? La motivazione è questa. Per un insieme di dati di serie temporali, la distribuzione di correlazione sembra spesso abbastanza vicina alla normalità. Vorrei generare molte matrici di …

11 normal-distribution random-generation correlation-matrix

1

Probabilità di copertura dell'intervallo di confidenza del bootstrap di base

Ho la seguente domanda per un corso a cui sto lavorando: Effettuare uno studio Monte Carlo per stimare le probabilità di copertura dell'intervallo di confidenza bootstrap normale standard e dell'intervallo di confidenza bootstrap di base. Campionare da una popolazione normale e verificare i tassi di copertura empirica per la media …

11 r confidence-interval self-study bootstrap monte-carlo

4

Esempi di studi che utilizzano p <0,001, p <0,0001 o anche valori p inferiori?

Vengo dalle scienze sociali, dove p <0,05 è praticamente la norma, con anche p <0.1 e p <0.01, ma mi chiedevo: quali campi di studio, se presenti, usano valori p inferiori come un comune standard?

11 statistical-significance p-value

3

Qual è la differenza tra i punteggi Z e i valori p?

Negli algoritmi del motivo di rete, sembra abbastanza comune restituire sia un valore p che un punteggio Z per una statistica: "La rete di input contiene X copie del sottografo G". Un sottografo è considerato un motivo se soddisfa valore p <A, Punteggio Z> B e X> C, per alcuni …

11 hypothesis-testing p-value z-statistic