Statistiche e Big Data

1

La regressione con la regolarizzazione L1 è la stessa di Lazo e con la regolarizzazione L2 è uguale alla regressione della cresta? E come scrivere "Lasso"?

Sono un ingegnere informatico che impara l'apprendimento automatico, in particolare attraverso i corsi di apprendimento automatico di Andrew Ng . Mentre studiavo la regressione lineare con la regolarizzazione , ho trovato termini che confondono: Regressione con regolarizzazione L1 o regolarizzazione L2 LASSO Regressione della cresta Quindi le mie domande: La …

33 regression terminology lasso regularization ridge-regression

1

Importanza variabile relativa per il potenziamento

Sto cercando una spiegazione di come viene calcolata l'importanza della variabile relativa negli alberi potenziati a gradiente che non è eccessivamente generale / semplicistica come: Le misure si basano sul numero di volte in cui una variabile viene selezionata per la divisione, ponderata dal miglioramento quadrato del modello come risultato …

33 machine-learning data-mining predictive-models cart boosting

2

La regolarizzazione di Tikhonov è la stessa della regressione di Ridge?

La regolarizzazione di Tikhonov e la regressione della cresta sono termini spesso usati come se fossero identici. È possibile specificare esattamente qual è la differenza?

33 regression terminology regularization ridge-regression tikhonov-regularization

3

In che modo le foreste casuali non sono sensibili ai valori anomali?

Ho letto in alcune fonti, tra cui questa , che le foreste casuali non sono sensibili ai valori anomali (come lo sono la regressione logistica e altri metodi ML). Tuttavia, due pezzi di intuizione mi dicono diversamente: Ogni volta che viene costruito un albero decisionale, tutti i punti devono essere …

33 random-forest bootstrap outliers cart

3

Differenza intuitiva tra modelli Markov nascosti e campi casuali condizionali

Comprendo che gli HMM (Hidden Markov Models) sono modelli generativi e CRF sono modelli discriminatori. Comprendo anche come vengono progettati e utilizzati i CRF (Conditional Random Fields). Quello che non capisco è come sono diversi dagli HMM? Ho letto che nel caso di HMM, possiamo solo modellare il nostro stato …

33 machine-learning hidden-markov-model natural-language conditional-random-field

4

Cresta, lazo e rete elastica

Come si confrontano i metodi di regolarizzazione di ridge, LASSO ed elasticnet? Quali sono i loro rispettivi vantaggi e svantaggi? Sarebbe anche apprezzato qualsiasi buon documento tecnico o appunti di lezione.

33 references lasso regularization ridge-regression elastic-net

2

Comprensione della forma e del calcolo delle bande di confidenza nella regressione lineare

Sto cercando di capire l'origine della forma curva delle bande di confidenza associate a una regressione lineare OLS e come si relaziona agli intervalli di confidenza dei parametri di regressione (pendenza e intercetta), ad esempio (usando R): require(visreg) fit <- lm(Ozone ~ Solar.R,data=airquality) visreg(fit) Sembra che la banda sia correlata …

33 regression confidence-interval

2

Determinazione della dimensione del campione necessaria per il metodo bootstrap / Metodo proposto

So che questo è un argomento piuttosto caldo in cui nessuno può davvero dare una risposta semplice. Tuttavia mi chiedo se il seguente approccio non possa essere utile. Il metodo bootstrap è utile solo se il tuo campione segue più o meno (leggi esattamente) la stessa distribuzione della popolazione originale. …

33 bootstrap sample-size methodology

5

Clustering di un set di dati con variabili sia discrete che continue

Ho un set di dati X che ha 10 dimensioni, 4 delle quali sono valori discreti. In effetti, quelle 4 variabili discrete sono ordinali, ovvero un valore più alto implica un semantico più alto / migliore. 2 di queste variabili discrete sono categoriche nel senso che per ciascuna di queste …

33 clustering k-means discrete-data continuous-data gaussian-mixture

5

Guadagno di informazioni, informazione reciproca e misure correlate

33 information-theory

7

Esiste una definizione accettata per la mediana di un campione sul piano o spazi ordinati più alti?

E allora? In caso contrario, perché no? Per un campione sulla linea, la mediana minimizza la deviazione assoluta totale. Sembrerebbe naturale estendere la definizione a R2, ecc., Ma non l'ho mai vista. Ma poi, sono stato fuori nel campo sinistro per molto tempo.

33 multivariate-analysis spatial median

7

Come trasmetti la bellezza del teorema del limite centrale a un non statistico?

Mio padre è un appassionato di matematica, ma non è molto interessato alle statistiche. Sarebbe bello provare a illustrare alcuni dei meravigliosi frammenti di statistiche e il CLT è un candidato privilegiato. Come trasmetteresti la bellezza matematica e l'impatto del teorema del limite centrale a un non statistico?

33 theory central-limit-theorem

4

Perché tanh è quasi sempre migliore di sigmoid come funzione di attivazione?

Nel corso Neural Networks e Deep Learning di Andrew Ng su Coursera afferma che usare è quasi sempre preferibile usare .tanhtanhtanhsigmoidsigmoidsigmoid La ragione per cui egli dà è che le uscite utilizzando centro attorno 0 piuttosto che 's 0,5, e questo 'rende l'apprendimento per lo strato successivo un po 'più …

33 machine-learning neural-networks backpropagation sigmoid-curve

1

Cosa sono i controlli predittivi posteriori e cosa li rende utili?

Capisco qual è la distribuzione predittiva posteriore e ho letto dei controlli predittivi posteriori , anche se non mi è ancora chiaro cosa faccia. Che cos'è esattamente il controllo predittivo posteriore? Perché alcuni autori affermano che eseguire controlli predittivi posteriori sta "utilizzando i dati due volte" e non dovrebbero essere …

33 bayesian model-selection posterior

2

Teoria dietro la regressione parziale dei minimi quadrati

Qualcuno può raccomandare una buona esposizione della teoria alla base della regressione dei minimi quadrati parziali (disponibile online) per qualcuno che capisce SVD e PCA? Ho esaminato molte fonti online e non ho trovato nulla che avesse la giusta combinazione di rigore e accessibilità. Ho esaminato The Elements of Statistical …

33 regression references regularization svd partial-least-squares