Statistiche e Big Data

5

Regressione di Poisson con dati di grandi dimensioni: è sbagliato cambiare l'unità di misura?

A causa del fattoriale in una distribuzione di poisson, diventa poco pratico stimare i modelli di poisson (ad esempio, usando la massima verosimiglianza) quando le osservazioni sono grandi. Quindi, per esempio, se sto provando a stimare un modello per spiegare il numero di suicidi in un determinato anno (sono disponibili …

17 modeling poisson-distribution large-data

7

Qual è il modo più semplice per creare grafici di qualità di pubblicazione su Linux?

Possiamo presumere che abbiamo un file CSV e vogliamo un diagramma a linee molto semplice con diverse linee su un diagramma e una semplice legenda.

17 data-visualization

2

È possibile automatizzare la previsione delle serie storiche?

Vorrei costruire un algoritmo in grado di analizzare qualsiasi serie temporale e "automaticamente" scegliere il miglior metodo di previsione tradizionale / statiscale (e i suoi parametri) per i dati delle serie temporali analizzate. Sarebbe possibile fare qualcosa del genere? Se sì, puoi darmi alcuni consigli su come affrontare questo problema?

17 time-series forecasting python

2

Se un modello di serie temporali con regressione automatica non è lineare, richiede comunque la stazionarietà?

Pensando all'utilizzo di reti neurali ricorrenti per la previsione di serie storiche. Fondamentalmente implementano una sorta di auto-regressione non lineare generalizzata, rispetto ai modelli ARMA e ARIMA che usano l'auto-regressione lineare. Se stiamo eseguendo una regressione automatica non lineare, è ancora necessario che le serie storiche siano stazionarie e dovremmo …

17 time-series autoregressive nonlinear stationarity

2

Qualcuno può spiegarmi le NOCI in inglese?

La mia comprensione dell'algoritmo è la seguente: Nessun campionatore di inversione a U (NUTS) è un metodo Monte Carlo Hamiltoniano. Ciò significa che non è un metodo a catena di Markov e, quindi, questo algoritmo evita la parte di camminata casuale, che è spesso considerata inefficiente e lenta a convergere. …

17 bayesian monte-carlo markov-process

1

Robusta PCA vs. robusta distanza Mahalanobis per un rilevamento anomalo

La solida PCA (sviluppata da Candes et al 2009 o meglio Netrepalli et al 2014 ) è un metodo popolare per il rilevamento di valori anomali multivariati , ma la distanza di Mahalanobis può anche essere utilizzata per il rilevamento di valori anomali, data una stima solida e regolarizzata della …

17 pca outliers covariance-matrix robust anomaly-detection

3

Usare la regolarizzazione quando si fa inferenza statistica

Conosco i vantaggi della regolarizzazione quando si creano modelli predittivi (distorsione rispetto alla varianza, prevenendo un eccesso di adattamento). Ma mi chiedo se sia una buona idea fare anche regolarizzazione (lazo, cresta, rete elastica) quando lo scopo principale del modello di regressione è l'inferenza sui coefficienti (vedere quali predittori sono …

17 inference lasso ridge-regression elastic-net selectiveinference

3

Inferenza dopo aver usato Lazo per la selezione delle variabili

Sto usando Lazo per la selezione delle caratteristiche in un'impostazione dimensionale relativamente bassa (n >> p). Dopo aver montato un modello Lazo, voglio usare le covariate con coefficienti diversi da zero per adattarlo a un modello senza penalità. Lo sto facendo perché voglio stime imparziali che Lasso non può darmi. …

17 regression feature-selection lasso unbiased-estimator

3

Differenza tra campioni, fasi temporali e caratteristiche nella rete neurale

Sto esaminando il seguente blog sulla rete neurale LSTM: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ L'autore rimodella il vettore di input X come [campioni, intervalli di tempo, funzionalità] per diverse configurazioni di LSTM. L'autore scrive In effetti, le sequenze di lettere sono fasi temporali di una funzione anziché una fase temporale di funzioni separate. Abbiamo …

17 neural-networks lstm rnn tensorflow tensor

3

Quali algoritmi richiedono il ridimensionamento delle funzionalità, oltre a SVM?

Sto lavorando con molti algoritmi: RandomForest, DecisionTrees, NaiveBayes, SVM (kernel = linear e rbf), KNN, LDA e XGBoost. Tutti sono stati piuttosto veloci, tranne SVM. Questo è quando ho saputo che ha bisogno del ridimensionamento delle funzionalità per funzionare più velocemente. Poi ho iniziato a chiedermi se avrei dovuto fare …

17 machine-learning svm random-forest naive-bayes xgboost

3

Come ottenere i parametri iper nella convalida incrociata nidificata?

Ho letto i seguenti post per la validazione incrociata nidificata e non sono ancora sicuro al 100% di cosa devo fare con la selezione del modello con validazione incrociata nidificata: Convalida incrociata nidificata per la selezione del modello Selezione del modello e convalida incrociata: la strada giusta Per spiegare la …

17 cross-validation scikit-learn hyperparameter

1

Come costruire il modello finale e ottimizzare la soglia di probabilità dopo la convalida incrociata nidificata?

In primo luogo, mi scuso per aver pubblicato una domanda che è già stata discussa a lungo qui , qui , qui , qui , quie per il riscaldamento di un vecchio argomento. So che @DikranMarsupial ha scritto a lungo su questo argomento in post e articoli di giornale, ma …

17 machine-learning cross-validation model-selection glmnet hyperparameter

3

La convalida incrociata è sufficiente per evitare un eccesso di adattamento?

Se ho un dato ed eseguo una classificazione (diciamo foresta casuale su questi dati) con convalida incrociata (diciamo 5 volte), potrei concludere che non c'è adattamento eccessivo nel mio metodo?

17 cross-validation overfitting

3

Idea e intuizione dietro la stima della probabilità quasi massima (QMLE)

Domande: qual è l'idea e l'intuizione alla base della stima della massima verosimiglianza (QMLE; noto anche come stima della pseudo massima verosimiglianza, PMLE)? Cosa fa funzionare lo stimatore quando la distribuzione dell'errore effettiva non corrisponde alla distribuzione dell'errore ipotizzata? Il sito di Wikipedia per QMLE va bene (breve, intuitivo, al …

17 maximum-likelihood references intuition quasi-likelihood

5

Distribuzione del rapporto tra due variabili casuali uniformi indipendenti

Supponiamo che XXX e YYY siano distribuiti uniformemente in [0,1][0,1][0, 1] e sono indipendenti, qual è il PDF di Z=Y/XZ=Y/XZ = Y / X ? La risposta di un manuale di teoria delle probabilità è fZ(z)=⎧⎩⎨1/2,1/(2z2),0,if 0≤z≤1if z>1otherwise.fZ(z)={1/2,if 0≤z≤11/(2z2),if z>10,otherwise. f_Z(z) = \begin{cases} 1/2, & \text{if } 0 \le z …

17 probability derived-distributions