Statistiche e Big Data

3

Esiste una tecnica standard per il debug dei programmi MCMC?

Il debug dei programmi MCMC è notoriamente difficile. La difficoltà sorge a causa di diversi problemi, alcuni dei quali sono: (a) Natura ciclica dell'algoritmo Disegniamo in modo iterativo parametri condizionali su tutti gli altri parametri. Pertanto, se un'implementazione non funziona correttamente, è difficile isolare il bug poiché il problema può …

11 mcmc

1

Come posso adattare ANOVA per i dati binari?

Ho quattro modelli concorrenti che utilizzo per prevedere una variabile di risultato binario (ad esempio, stato di occupazione dopo la laurea, 1 = impiegato, 0 = non impiegato) per n soggetti. Una metrica naturale delle prestazioni del modello è la percentuale di hit, che è la percentuale di previsioni corrette …

11 anova chi-squared generalized-linear-model

1

Quali sono alcuni buoni framework per la selezione dei metodi?

Ho esaminato i quadri teorici per la selezione dei metodi (nota: non la selezione dei modelli) e ho trovato pochissimo lavoro sistematico, motivato matematicamente. Per "selezione del metodo" intendo un framework per distinguere il metodo appropriato (o migliore, ottimale) rispetto a un problema o tipo di problema. Quello che ho …

11 machine-learning methodology theory

2

La direzione della causalità tra strumento e variabile è importante?

Lo schema standard della variabile strumentale in termini di causalità ( ->) è: Z -> X -> Y Dove Z è uno strumento, X una variabile endogena e Y una risposta. È possibile che le seguenti relazioni: Z <- X ->Y Z <-> X ->Y sono anche validi? Mentre la …

11 causality instrumental-variables endogeneity

4

Il profeta di Facebook è diverso da una regressione lineare?

Quindi quello che ho letto sul profeta di Facebook è che fondamentalmente scompone le serie storiche in tendenze e stagionalità. Ad esempio, un modello additivo verrebbe scritto come: y( t ) = g( t ) + s ( t ) + h ( t ) + ety(t)=g(t)+S(t)+h(t)+et y(t) = g(t) …

11 regression machine-learning time-series prophet

3

Significa centrare riduce la covarianza?

Supponendo che io abbia due variabili casuali non indipendenti e che voglia ridurre la covarianza tra loro il più possibile senza perdere troppo "segnale", significa centrare l'aiuto? Ho letto da qualche parte che significa che il centraggio riduce la correlazione di un fattore significativo, quindi sto pensando che dovrebbe fare …

11 correlation covariance random-vector

2

Valori p "liberali"?

La mia domanda è piuttosto semantica. Quando un metodo produce abitualmente valori p elevati viene chiamato conservativo. Definiresti l'opposto, cioè un metodo con un alto tasso di errore di tipo II liberale?

11 hypothesis-testing statistical-significance p-value terminology type-i-and-ii-errors

4

Condizioni sufficienti e necessarie per autovalore zero di una matrice di correlazione

Dato nnn variabile casuale XiXiX_i , con distribuzione di probabilità P(X1,…,Xn)P(X1,…,Xn)P(X_1,\ldots,X_n) , la matrice di correlazione Cij=E[XiXj]−E[Xi]E[Xj]Cij=E[XiXj]−E[Xi]E[Xj]C_{ij}=E[X_i X_j]-E[X_i]E[X_j] è semi positivo definito, cioè i suoi autovalori sono positivi o zero. Sono interessato alle condizioni su PPP che sono necessarie e / o sufficienti affinché CCC abbia autovalori mmm zero. Ad …

11 correlation

2

Genera rumore uniforme da una sfera p-norm (

Sto cercando di scrivere una funzione che genera un rumore distribuito uniformemente che proviene da una sfera di norma p di nnn dimensioni: ||x||p≤r||x||p≤r\begin{equation} ||x||_p \leq r \end{equation} Ho trovato possibili soluzioni per i cerchi ( p=2p=2p = 2 ) ( http://mathworld.wolfram.com/DiskPointPicking.html ), tuttavia ho difficoltà ad estenderlo per diversi …

11 simulation noise

3

Perché dobbiamo adattare un classificatore k-vicini più vicini?

Come ho capito, k-NN è un algoritmo di studente pigro e non ha bisogno di una fase di allenamento. Quindi perché dobbiamo usare .fit()con sklearn e cosa succede quando lo usiamo?

11 classification scikit-learn k-nearest-neighbour

2

Perché ci sono raccomandazioni contro l'uso di Jeffreys o di priori basati sull'entropia per i campionatori MCMC?

Sulla loro pagina wiki , gli sviluppatori di Stan dichiarano: Alcuni principi che non ci piacciono: invarianza, Jeffreys, entropia Vedo invece molte normali raccomandazioni di distribuzione. Finora ho usato metodi bayesiani che non si basavano sul campionamento ed ero abbastanza felice di aver capito perché stata una buona scelta per …

11 bayesian mcmc prior pymc stan

3

Metodi di inizializzazione di K-significa raggruppare

Sono interessato allo stato dell'arte attuale per la selezione dei semi iniziali (centri di cluster) per K-medie. Googling porta a due scelte popolari: selezione casuale di semi iniziali e, usando la tecnica di selezione KMeans ++: Arthur & Vassilvitskii 2006 k-means ++: I vantaggi di una semina attenta Esistono altri …

11 clustering k-means

1

Perché è sbagliato interpretare SVM come probabilità di classificazione?

La mia comprensione di SVM è che è molto simile a una regressione logistica (LR), ovvero una somma ponderata di caratteristiche viene passata alla funzione sigmoide per ottenere una probabilità di appartenenza a una classe, ma invece della perdita tra entropia (logistica) funzione, l'allenamento viene eseguito utilizzando la perdita della …

11 machine-learning logistic svm

3

Criterio di arresto per Nelder Mead

Sto cercando di implementare l'algoritmo Nelder-Mead per ottimizzare una funzione. La pagina di Wikipedia su Nelder-Mead è sorprendentemente chiara sull'intero algoritmo, ad eccezione del suo criterio di arresto. Lì dice tristemente: Verificare la convergenza [chiarimento necessario] . Ho provato e testato un paio di criteri me stesso: Fermati se dove …

11 optimization algorithms

2

Perché un albero insaccato / albero forestale casuale ha una propensione maggiore di un singolo albero decisionale?

Se consideriamo un albero decisionale completamente sviluppato (ovvero un albero decisionale non potato) ha una varianza elevata e una propensione bassa. Le foreste insaccanti e casuali utilizzano questi modelli ad alta varianza e li aggregano al fine di ridurre la varianza e quindi migliorare l'accuratezza delle previsioni. Entrambe le foreste …

11 variance random-forest cart bias bagging