Statistiche e Big Data

3

Tecniche per la gestione di dati incompleti / mancanti

La mia domanda è rivolta alle tecniche per gestire dati incompleti durante la classificazione / l'addestramento / l'adattamento del modello. Ad esempio, in un set di dati con poche centinaia di righe, ogni riga con cinque dimensioni e un'etichetta di classe come ultimo elemento, la maggior parte dei punti di …

12 missing-data

5

Cosa ti dicono le curve ROC che l'inferenza tradizionale non farebbe?

Quando tenderesti ad usare le curve ROC su alcuni altri test per determinare la capacità predittiva di alcune misurazioni su un risultato? Quando si ha a che fare con esiti discreti (vivo / morto, presente / assente), cosa rende le curve ROC più o meno potenti di qualcosa come un …

12 regression roc

1

Test T a due campioni con dati ponderati

Voglio eseguire un test T a due campioni per verificare la differenza tra due campioni indipendenti che ciascun campione rispetta le ipotesi del test T (si può presumere che ciascuna distribuzione sia indipendente e identicamente distribuita come normale con uguale varianza) . L'unica complicazione del test T di base a …

12 t-test

2

Test statistico per le tabelle di contingenza nxm

Ho un set di dati composto da elementi di tre gruppi, chiamiamoli G1, G2 e G3. Ho analizzato alcune caratteristiche di questi elementi e li ho divisi in 3 tipi di "comportamento" T1, T2 e T3 (per fare ciò ho usato l'analisi dei cluster). Quindi, ora ho una tabella di …

12 contingency-tables

3

Fisher's Exact Test con pesi?

Qualcuno sa di una variante del test esatto di Fisher che tiene conto dei pesi? Ad esempio pesi di campionamento . Quindi, invece della solita tabella incrociata 2x2, ogni punto dati ha un valore "massa" o "dimensione" che pesa il punto. Dati di esempio: A B weight N N 1 …

12 hypothesis-testing

2

Come si interpreta un complotto di Bland-Altman?

In inglese semplice, come si interpreta una trama di Bland-Altman? Quali sono i vantaggi dell'utilizzo di un diagramma di Bland-Altman rispetto ad altri metodi di confronto tra due diversi metodi di misurazione?

12 data-visualization bland-altman-plot

3

Che cos'è la stima congiunta?

La mia domanda è semplice: che cos'è la stima congiunta? E cosa significa nel contesto dell'analisi di regressione? Com'è fatto? Ho vagato nella potente Internet per un po 'di tempo ma non ho trovato risposte a queste domande.

12 regression estimation terminology

2

Stimatore discreto dell'esponenziale di misura di un insieme?

Supponiamo di avere un set (misurabile e ben educato) S⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb R^n , dove BBB è compatto. Inoltre, supponiamo di poter prelevare campioni dalla distribuzione uniforme su BBB rispetto alla misura di Lebesgue λ(⋅)λ(⋅)\lambda(\cdot) e di conoscere la misura λ(B)λ(B)\lambda(B) . Per esempio, forse BBB è una scatola [−c,c]n[−c,c]n[-c,c]^n contenente …

12 probability monte-carlo unbiased-estimator measure-theory

3

Il mio modello è valido, basato sul valore della metrica diagnostica ( / AUC / accuratezza / RMSE ecc.)?

Ho adattato il mio modello e sto cercando di capire se va bene. Ho calcolato le metriche consigliate per valutarle ( / AUC / accuratezza / errore di previsione / ecc.) Ma non so come interpretarle. In breve, come faccio a sapere se il mio modello è buono in base …

12 goodness-of-fit r-squared accuracy auc diagnostic

2

Nell'inferenza bayesiana, perché alcuni termini vengono eliminati dal predittivo posteriore?

Nell'analisi coniugale bayesiana di Kevin Murphy della distribuzione gaussiana , scrive che la distribuzione predittiva posteriore è p ( x ∣ D ) = ∫p ( x ∣ θ ) p ( θ ∣ D ) dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta …

12 bayesian predictive-models inference posterior

2

Perché una funzione di perdita 0-1 è intrattabile?

Nel libro Deep Learning di Ian Goodfellow , è scritto questo A volte, la funzione di perdita di cui ci preoccupiamo (diciamo, errore di classificazione) non può essere ottimizzata in modo efficiente. Ad esempio, minimizzare esattamente la perdita attesa 0-1 è generalmente intrattabile (esponenziale nella dimensione di input), anche per …

12 neural-networks deep-learning loss-functions

1

Perché R Squared non è una buona misura per adattarsi alle regressioni usando LASSO?

Ho letto in diversi punti che R Squared non è una misura ideale quando un modello è in forma usando LASSO. Tuttavia, non sono chiaro esattamente perché . Inoltre, potresti raccomandare la migliore alternativa?

12 regression lasso r-squared penalized

4

Cosa rende instabile il lazo per la selezione delle caratteristiche?

Nel rilevamento compresso, c'è una garanzia teorema che ha una soluzione sparsa unica c (Vedi appendice per maggiori dettagli).argmin∥c∥1subject to y=Xcargmin‖c‖1subject to y=Xc\text{argmin} \Vert c \Vert_1\\ \text{subject to } y = Xc ccc Esiste un teorema simile per il lazo? Se esiste un tale teorema, non solo garantirà la stabilità …

12 regression self-study feature-selection lasso regularization

1

Cosa significa "variazionale"?

L'uso di "variazionale" si riferisce sempre all'ottimizzazione tramite inferenza variazionale? Esempi: "Auto-codificatore variabile" "Metodi bayesiani variazionali" "Gruppo di rinormalizzazione variazionale"

12 machine-learning optimization inference

1

Comprensione della regressione della cresta negativa

Sto cercando letteratura sulla regressione della cresta negativa . In breve, si tratta di una generalizzazione della regressione della cresta lineare usando negativo nella formula dello stimatore:Il caso positivo ha una buona teoria: come una funzione di perdita, come un vincolo, come un precedente di Bayes ... ma mi sento …

12 regression regularization ridge-regression