Statistiche e Big Data

3

La regressione casuale delle foreste non prevede valori superiori ai dati di allenamento

Ho notato che quando si creano modelli di regressione della foresta casuali, almeno in R, il valore previsto non supera mai il valore massimo della variabile target visualizzata nei dati di allenamento. Ad esempio, vedi il codice qui sotto. Sto costruendo un modello di regressione da prevedere in mpgbase ai …

12 r random-forest

4

Bootstrap vs Monte Carlo, stima degli errori

Sto leggendo l'articolo Propagazione degli errori con il metodo Monte Carlo nei calcoli geochimici, Anderson (1976) e c'è qualcosa che non capisco bene. Considera alcuni dati misurati e un programma che li elabora e restituisce un dato valore. Nell'articolo, questo programma è usato per ottenere prima il valore migliore usando …

12 bootstrap monte-carlo error

2

"I legami non dovrebbero essere presenti" nel test di Kolmgorov-Smirnov su un campione in R

Userò il test di Kolmogorov-Smirnov per testare la normalità di MYDATA in R. Questo è un esempio di ciò che faccio ks.test(MYDATA,"pnorm",mean(MYDATA),sd(MYDATA)) Ecco il risultato che mi dà R: data: MYDATA D = 0.13527, p-value = 0.1721 alternative hypothesis: two-sided Warning message: In ks.test(MYDATA, "pnorm", mean(MYDATA), sd(MYDATA)) : ties should …

12 kolmogorov-smirnov ties

3

Lazo vs. Lazo adattivo

LASSO e LASSO adattivo sono due cose diverse, giusto? (Per me le penalità sembrano diverse, ma sto solo controllando se mi manca qualcosa.) Quando parli generalmente di rete elastica, è il caso speciale LASSO o LASSO adattivo? Quale fa il pacchetto glmnet, a condizione che tu scelga alpha = 1? …

12 lasso glmnet elastic-net oracle

2

I modelli di serie temporali con differenza di registro sono migliori dei tassi di crescita?

Spesso vedo gli autori stimare un modello di "differenza log", ad es log( yt) - registro( yt - 1) = log( yt/ yt - 1) = α + βXtlog⁡(yt)-log⁡(yt-1)=log⁡(yt/yt-1)=α+βXt\log (y_t)-\log(y_{t-1}) = \log(y_t/y_{t-1}) = \alpha + \beta x_t Sono d'accordo che questo sia appropriato per relazione con una variazione percentuale in …

12 time-series forecasting data-transformation econometrics logarithm

1

Campionamento dalla distribuzione marginale usando la distribuzione condizionale?

Voglio campionare da una densità univariata ma conosco solo la relazione:fXfXf_X fX( x ) = ∫fX| Y( x | y) fY( y) dy.fX(x)=∫fX|Y(x|y)fY(y)dy.f_X(x) = \int f_{X\vert Y}(x\vert y)f_Y(y) dy. Voglio evitare l'uso di MCMC (direttamente sulla rappresentazione integrale) e, poiché e sono facili da campionare, stavo pensando di usare il …

12 sampling conditional-probability monte-carlo marginal

3

La differenza sta nelle statistiche riassuntive: coefficiente di Gini e deviazione standard

Esistono diverse statistiche di riepilogo. Quando si desidera descrivere la diffusione di una distribuzione, è possibile utilizzare ad esempio la deviazione standard o il coefficiente di Gini . So che la deviazione standard si basa sulla tendenza centrale, cioè la deviazione dalla media, e il coefficiente di Gini una misurazione …

12 standard-deviation descriptive-statistics gini

2

Qual è la differenza tra e il punteggio di varianza in Scikit-learn?

Stavo leggendo le metriche di regressione nel manuale di Python Scikit-Learn e anche se ognuna di esse ha la sua formula, non posso dire intuitivamente qual è la differenza tra e il punteggio di varianza e quindi quando usare l'uno o l'altro per valutare i miei modelli.R2R2R^2

12 regression variance scikit-learn r-squared model-evaluation

1

Modellazione bayesiana dei tempi di attesa dei treni: la definizione del modello

Questo è il mio primo tentativo per qualcuno proveniente dal campo frequentista di fare analisi dei dati bayesiani. Ho letto una serie di tutorial e alcuni capitoli di Bayesian Data Analysis di A. Gelman. Come primo esempio di analisi dei dati più o meno indipendente che ho scelto sono i …

12 bayesian pymc

1

Intervallo di confidenza e incertezza del valore P per il test di permutazione

Sto imparando i test di randomizzazione in questo momento. Mi vengono in mente due domande: Sì, è facile e intuitivo come viene calcolato il valore p con il test di randomizzazione (che ritengo sia lo stesso del test di permutazione?). Tuttavia, come possiamo generare anche un intervallo di confidenza del …

12 confidence-interval p-value permutation-test

1

Come adattare i pesi ai valori Q con approssimazione di funzioni lineari

Nell'apprendimento per rinforzo, l'approssimazione di funzioni lineari viene spesso utilizzata quando sono presenti ampi spazi di stato. (Quando le tabelle di ricerca diventano impossibili.) La forma del valore con approssimazione della funzione lineare è data daQ -Q-Q- Q ( s , a ) = w1f1( s , a ) + …

12 machine-learning feature-selection reinforcement-learning

3

Cosa succede se il percorso c non è significativo, ma i percorsi a e b lo sono? Effetto indiretto nella mediazione

In un modello di mediazione classico, abbiamo i percorsi mostrati nel diagramma seguente , in cui il primo passo per testare l'effetto di mediazione di M tra X e Y è che X è significativamente correlato con Y (come mostrato nel pannello A nella figura). Tuttavia, mi sono imbattuto in …

12 mediation path-model

2

Metodi di rotazione dei fattori (varimax, oblimin, ecc.): Cosa significano i nomi e cosa fanno i metodi?

L'analisi fattoriale ha diversi metodi di rotazione, come varimax, quartimax, equamax, promax, oblimin, ecc. Non sono in grado di trovare alcuna informazione che colleghi i loro nomi alle loro effettive azioni matematiche o statistiche. Perché si chiama "equa-max" o "quarti-max"? In che modo vengono ruotati gli assi o le matrici …

12 factor-analysis terminology factor-rotation

3

Risorse per l'analisi delle serie temporali interrotte in R

Sono abbastanza nuovo per R. Ho tentato di leggere sull'analisi delle serie storiche e ho già finito Analisi delle serie storiche di Shumway e Stoffer e sue applicazioni 3a edizione , Previsioni eccellenti di Hyndman : principi e pratica Avril Coghlan utilizza R per l'analisi delle serie storiche A. Ian …

12 r time-series

2

Ottimizzazione di una macchina vettoriale di supporto con programmazione quadratica

Sto cercando di comprendere il processo di addestramento di una macchina vettoriale di supporto lineare . Mi rendo conto che le proprietà degli SMV consentono loro di essere ottimizzate molto più rapidamente rispetto all'utilizzo di un risolutore di programmazione quadratico, ma a fini di apprendimento mi piacerebbe vedere come funziona. …

12 r svm optimization