Statistiche e Big Data

4

La prova di formule equivalenti di regressione della cresta

Ho letto i libri più popolari nell'apprendimento statistico 1- Gli elementi dell'apprendimento statistico. 2- Un'introduzione all'apprendimento statistico . Entrambi menzionano che la regressione della cresta ha due formule equivalenti. Esiste una comprensibile prova matematica di questo risultato? Ho anche esaminato Cross Validated , ma non riesco a trovare una prova …

15 regression lasso regularization ridge-regression lagrange-multipliers

1

Ridurre al minimo i pregiudizi nella modellazione esplicativa, perché? ("Spiegare o predire" di Galit Shmueli)

Questa domanda fa riferimento al documento di Galit Shmueli "Spiegare o predire" . Nello specifico, nella sezione 1.5, "Spiegazione e previsione sono diverse", il professor Shmueli scrive: Nella modellistica esplicativa l'attenzione si concentra sulla minimizzazione della distorsione per ottenere la rappresentazione più accurata della teoria sottostante. Questo mi ha lasciato …

15 predictive-models inference bias unbiased-estimator explanatory-models

2

Reti neurali vs tutto il resto

Non ho trovato una risposta soddisfacente a questo da Google . Naturalmente se i dati che ho sono dell'ordine di milioni, l'apprendimento profondo è la strada. E ho letto che quando non ho i big data allora forse è meglio usare altri metodi nell'apprendimento automatico. Il motivo indicato è eccessivo. …

15 regression machine-learning classification neural-networks deep-learning

1

Confronto tra Newey-West (1987) e Hansen-Hodrick (1980)

Domanda: Quali sono le principali differenze e somiglianze tra l'uso degli errori standard di Newey-West (1987) e Hansen-Hodrick (1980)? In quali situazioni dovrebbe essere preferito uno di questi rispetto all'altro? Appunti: So come funziona ciascuna di queste procedure di regolazione; tuttavia, non ho ancora trovato alcun documento che li possa …

15 regression autocorrelation heteroscedasticity robust-standard-error neweywest

2

Perché questa previsione delle serie storiche è "piuttosto scadente"?

Sto cercando di imparare come usare le reti neurali. Stavo leggendo questo tutorial . Dopo aver inserito una Rete Neurale su una serie temporale utilizzando il valore in per prevedere il valore in l'autore ottiene il seguente grafico, dove la linea blu è la serie storica, il verde è la …

15 time-series neural-networks predictive-models deep-learning prediction

4

Perché un albero decisionale ha una propensione bassa e una varianza elevata?

Domande Dipende se l'albero è poco profondo o profondo? O possiamo dire questo indipendentemente dalla profondità / livelli dell'albero? Perché il bias è basso e la varianza è alta? Spiega in modo intuitivo e matematico

15 machine-learning variance covariance cart bias

3

Perché sono importanti le ipotesi ANOVA (uguaglianza di varianza, normalità dei residui)?

Quando si esegue un ANOVA ci viene detto che alcuni presupposti del test devono essere presenti affinché sia applicabile ai dati. Non ho mai capito il motivo per cui i seguenti presupposti erano necessari per il funzionamento del test: La varianza della variabile dipendente (residui) dovrebbe essere uguale in ogni …

15 hypothesis-testing anova assumptions

4

Valore atteso vs. valore più probabile (modalità)

Il valore atteso di una distribuzione f(x)f(x)f(x) è la media, ovvero il valore medio ponderato E[x]=∫+∞−∞xf(x)dxE[x]=∫−∞+∞xf(x)dxE[x]=\int_{-\infty}^{+\infty} x \, \, f(x) dx Il valore più probabile è la modalità, ovvero il valore più probabile. Tuttavia, ci aspettiamo in qualche modo di vedere molte volte? Citando da qui :E[x]E[x]E[x] Se i risultati …

15 probability distributions chi-squared expected-value mode

3

Numero minimo di strati in una rete neurale profonda

A che punto iniziamo a classificare le reti neurali a più strati come reti neurali profonde o per dirlo in un altro modo "Qual è il numero minimo di strati in una rete neurale profonda?"

15 machine-learning neural-networks deep-learning terminology

2

Notazione matriciale per la regressione logistica

Nella regressione lineare (perdita quadrata), usando la matrice abbiamo una notazione molto concisa per l'obiettivo minimize ∥Ax−b∥2minimize ‖Ax−b‖2\text{minimize}~~ \|Ax-b\|^2 Dove AAA è la matrice di dati, xxx è i coefficienti e bbb è la risposta. Esiste una notazione matriciale simile per l'obiettivo di regressione logistica? Tutte le notazioni che ho …

15 regression logistic linear-model notation

2

Regressione graduale in R - Come funziona?

Sto cercando di capire la differenza di base tra regressione graduale e regressiva in R usando la funzione step. Per la regressione graduale ho usato il seguente comando step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="both") Ho ottenuto l'output di seguito per il codice sopra. Per la selezione delle variabili all'indietro ho usato il seguente comando step(lm(mpg~wt+drat+disp+qsec,data=mtcars),direction="backward") …

15 r regression

3

Dobbiamo davvero includere "tutti i predittori rilevanti?"

Un presupposto di base dell'uso dei modelli di regressione per deduzione è che "tutti i predittori rilevanti" sono stati inclusi nell'equazione di predizione. La logica è che la mancata inclusione di un importante fattore del mondo reale porta a coefficienti distorti e quindi a inferenze imprecise (ovvero omissione di distorsioni …

15 regression assumptions bias predictor confounding

5

Problemi di singolarità nel modello di miscela gaussiana

Nel capitolo 9 del libro Riconoscimento dei modelli e apprendimento automatico, c'è questa parte sul modello di miscela gaussiana: Ad essere sincero, non capisco davvero perché questo creerebbe una singolarità. Qualcuno può spiegarmi questo? Mi dispiace ma sono solo un laureando e un principiante nell'apprendimento automatico, quindi la mia domanda …

15 gaussian-mixture

3

Regressione logistica: Scikit Learn vs glmnet

Sto cercando di duplicare i risultati dalla sklearnlibreria di regressione logistica usando il glmnetpacchetto in R. Dalla documentazione sullasklearn regressione logistica , sta cercando di minimizzare la funzione di costo sotto penalità l2 minw,c12wTw+C∑i=1Nlog(exp(−yi(XTiw+c))+1)minw,c12wTw+C∑i=1Nlog⁡(exp⁡(−yi(XiTw+c))+1)\min_{w,c} \frac12 w^Tw + C\sum_{i=1}^N \log(\exp(-y_i(X_i^Tw+c)) + 1) Dalle vignette di glmnet, la sua implementazione riduce al …

15 r logistic python scikit-learn glmnet

2

2 Campione Kolmogorov-Smirnov contro Anderson-Darling vs Cramer-von-Mises

Mi chiedevo quali sono i criteri per utilizzare Kolmogorov-Smirnov, Cramer-von-Mises e Anderson-Darling quando si confrontano 2 ECDFS. Conosco la matematica di come differiscono tra loro, ma se avessi alcuni dati ECDF, come potrei sapere quale test è appropriato usare?

15 kolmogorov-smirnov anderson-darling two-sample