Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

1
Scelta tra le funzioni di perdita per la classificazione binaria
Lavoro in un settore problematico in cui le persone segnalano spesso ROC-AUC o AveP (precisione media). Tuttavia, recentemente ho trovato documenti che ottimizzano invece la perdita di log , mentre altri ancora riportano la perdita di cerniera . Mentre capisco come vengono calcolate queste metriche, sto facendo fatica a capire …
3
GLM binomiale negativo vs. trasformazione del log per i dati di conteggio: aumento del tasso di errore di tipo I.
Alcuni di voi potrebbero aver letto questo bel documento: O'Hara RB, Kotze DJ (2010) Non registrare i dati di conteggio della trasformazione. Metodi in Ecologia ed Evoluzione 1: 118-122. Klick . Nel mio campo di ricerca (ecotossicologia) abbiamo a che fare con esperimenti scarsamente replicati e le GLM non sono …
4
Non transitività della correlazione: correlazioni tra genere e dimensione del cervello e tra dimensione del cervello e QI, ma nessuna correlazione tra genere e QI
Ho trovato una seguente spiegazione su un blog e vorrei ottenere maggiori informazioni sulla non transitività della correlazione: Abbiamo i seguenti fatti indiscutibili: In media, c'è una differenza nel volume del cervello tra uomini e donne Esiste una correlazione tra QI e dimensioni del cervello; la correlazione è 0,33 e …
4
Qual è l'intuizione dietro l'indipendenza di
Speravo che qualcuno potesse proporre un argomento che spieghi perché le variabili casuali e , con distribuzione normale standard, sono statisticamente indipendenti. La prova di questo fatto deriva facilmente dalla tecnica MGF, ma la trovo estremamente controintuitiva.Y1=X2−X1Y1=X2−X1Y_1=X_2-X_1Y2=X1+X2Y2=X1+X2Y_2=X_1+X_2XiXiX_i Gradirei quindi l'intuizione qui, se presente. Grazie in anticipo. EDIT : i pedici …
3
Perché le statistiche bayesiane non sono più popolari per il controllo statistico dei processi?
La mia comprensione del dibattito bayesiano vs frequentista è che le statistiche del frequentista: è (o afferma di essere) obiettivo o almeno imparziale così diversi ricercatori, usando ipotesi diverse, possono ancora ottenere risultati quantitativamente comparabili mentre le statistiche bayesiane afferma di fare previsioni "migliori" (cioè una perdita attesa inferiore), perché …
4
Addestramento di un modello nascosto di Markov, più istanze di addestramento
Ho implementato un HMM discreto secondo questo tutorial http://cs229.stanford.edu/section/cs229-hmm.pdf Questo tutorial e altri parlano sempre dell'addestramento di un MMM dato una sequenza di osservazione. Cosa succede quando ho più sequenze di allenamento? Devo solo eseguirli in sequenza, allenando il modello dopo l'altro? Un'altra opzione è concatenare le sequenze a una …
2
Perché ottimizzare un mix di gaussiano direttamente dal punto di vista computazionale?
Considera la probabilità di log di una miscela di gaussiani: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlog⁡f(x(t)|θ)=∑t=1nlog⁡{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\} Mi chiedevo perché era difficile dal punto di vista computazionale massimizzare quell'equazione direttamente? Stavo cercando una chiara intuizione solida sul perché dovrebbe essere ovvio che è difficile o forse una spiegazione …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.