Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

1
Posteriore normale multivariata
Questa è una domanda molto semplice ma non riesco a trovare la derivazione da nessuna parte su Internet o in un libro. Vorrei vedere la derivazione di come un bayesiano aggiorna una distribuzione normale multivariata. Ad esempio: immagina P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf …
2
Il modo migliore per eseguire SVM multiclasse
So che SVM è un classificatore binario. Vorrei estenderlo a SVM multi-classe. Qual è il modo migliore, e forse il più semplice, per eseguirlo? codice: in MATLAB u=unique(TrainLabel); N=length(u); if(N>2) itr=1; classes=0; while((classes~=1)&&(itr<=length(u))) c1=(TrainLabel==u(itr)); newClass=double(c1); tst = double((TestLabel == itr)); model = svmtrain(newClass, TrainVec, '-c 1 -g 0.00154'); [predict_label, accuracy, …
1
Come funziona il test Chi Squared di Pearson
Dopo un recente voto negativo ho cercato di verificare la mia comprensione del test Pearson Chi Squared. Di solito uso la statistica chi quadrato (o statistica chi quadrato ridotta) per adattarsi o controllare l'adattamento risultante. In questo caso, la varianza di solito non è il numero atteso di conteggi in …
2
Perché il classificatore di regressione della cresta funziona abbastanza bene per la classificazione del testo?
Durante un esperimento per la classificazione del testo, ho scoperto che il classificatore di cresta genera risultati che completano costantemente i test tra quei classificatori che sono più comunemente citati e applicati per attività di estrazione del testo, come SVM, NB, kNN, ecc. Tuttavia, non ho elaborato sull'ottimizzazione di ogni …
2
Camminata casuale con slancio
Considera una camminata casuale intera che inizia da 0 con le seguenti condizioni: Il primo passo è più o meno 1, con uguale probabilità. Ogni passaggio futuro è: il 60% ha probabilità di essere nella stessa direzione del passaggio precedente, il 40% ha probabilità di essere nella direzione opposta Che …
4
Intervallo di confidenza ristretto: maggiore precisione?
Ho due domande sugli intervalli di confidenza: Apparentemente un ristretto intervallo di confidenza implica che vi è una minore possibilità di ottenere un'osservazione all'interno di quell'intervallo, pertanto la nostra precisione è maggiore. Anche un intervallo di confidenza al 95% è più stretto di un intervallo di confidenza al 99% che …
2
Qual è il modo corretto di verificare differenze significative tra i coefficienti?
Spero che qualcuno possa aiutarmi a risolvere un punto di confusione per me. Supponiamo di voler verificare se 2 serie di coefficienti di regressione sono significativamente diverse l'una dall'altra, con la seguente impostazione: yio=α+βxi+ϵiyi=α+βxi+ϵiy_i = \alpha + \beta x_i + \epsilon_i , con 5 variabili indipendenti. 2 gruppi, con dimensioni …
2
Distribuzione che descrive la differenza tra variabili distribuite binomiali negative?
Una distribuzione Skellam descrive la differenza tra due variabili che hanno distribuzioni di Poisson. Esiste una distribuzione simile che descrive la differenza tra le variabili che seguono distribuzioni binomiali negative? I miei dati sono prodotti da un processo di Poisson, ma includono una discreta quantità di rumore, con conseguente sovradispersione …
2
Limitare l'informazione reciproca dato limiti all'informazione reciproca puntuale
Supponiamo che io abbia due insiemi e e una distribuzione di probabilità congiunta su questi insiemi . Let e indicano le distribuzioni marginali oltre e rispettivamente.XXXYYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Le informazioni reciproche tra e sono definite come: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) cioè è il valore medio dell'informazione reciproca puntuale pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) …
2
Stimatore di James-Stein: In che modo Efron e Morris hanno calcolato nel fattore di restringimento per il loro esempio di baseball?
Ho una domanda sul calcolo del fattore di restringimento di James-Stein nel documento scientifico americano del 1977 di Bradley Efron e Carl Morris, "Stein's Paradox in Statistics" . Ho raccolto i dati per i giocatori di baseball e sono riportati di seguito: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.