Statistiche e Big Data

1

In Random Forest, perché un sottoinsieme casuale di funzionalità viene scelto a livello di nodo anziché a livello di albero?

La mia domanda: Perché la foresta casuale considera sottoinsiemi casuali di funzioni da suddividere a livello di nodo all'interno di ciascun albero anziché a livello di albero ? Sfondo: questa è una questione di storia. Tin Kam Ho pubblicato questo articolo sulla costruzione di "foreste" decision selezionando in modo casuale …

13 machine-learning feature-selection random-forest importance history

1

L'accuratezza è una regola di punteggio impropria in un'impostazione di classificazione binaria?

Recentemente ho imparato a conoscere le regole di punteggio adeguate per i classificatori probabilistici. Numerosi thread su questo sito Web hanno sottolineato come l'accuratezza sia una regola di punteggio impropria e non dovrebbe essere utilizzata per valutare la qualità delle previsioni generate da un modello probabilistico come la regressione logistica. …

13 probability accuracy scoring-rules

2

C'è qualche problema teorico con la media dei coefficienti di regressione per costruire un modello?

Voglio costruire un modello di regressione che è una media di più modelli OLS, ciascuno basato su un sottoinsieme dei dati completi. L'idea alla base di questo è basata su questo documento . Creo k pieghe e costruisco k modelli OLS, ognuno sui dati senza una delle pieghe. Quindi faccio …

13 regression least-squares ensemble

11

La deviazione standard è totalmente sbagliata? Come si calcola lo std per altezze, conteggi ecc (numeri positivi)?

Diciamo che sto calcolando altezze (in cm) e i numeri devono essere più alti di zero. Ecco l'elenco di esempio: 0.77132064 0.02075195 0.63364823 0.74880388 0.49850701 0.22479665 0.19806286 0.76053071 0.16911084 0.08833981 Mean: 0.41138725956196015 Std: 0.2860541519582141 In questo esempio, secondo la distribuzione normale, il 99,7% dei valori deve essere compreso tra ± …

13 probability mathematical-statistics normal-distribution standard-deviation

1

Diversi tipi di covarianza per modelli di miscele gaussiane

Mentre provavo qui i modelli di miscele gaussiane , ho trovato questi 4 tipi di covarianze. 'full' (each component has its own general covariance matrix), 'tied' (all components share the same general covariance matrix), 'diag' (each component has its own diagonal covariance matrix), 'spherical' (each component has its own single …

13 covariance-matrix gaussian-mixture

2

Perché anche gli RNN con unità LSTM possono soffrire di "gradienti esplosivi"?

Ho una conoscenza di base di come funzionano gli RNN (e, in particolare, con le unità LSTM). Ho un'idea pittorica dell'architettura di un'unità LSTM, ovvero una cella e alcune porte, che regolano il flusso di valori. Tuttavia, a quanto pare, non ho compreso appieno come LSTM risolva il problema dei …

13 neural-networks lstm rnn backpropagation

1

Formato di input per la risposta in glm binomiale in R

In R, ci sono tre metodi per formattare i dati di ingresso per una regressione logistica utilizzando la glmfunzione di: I dati possono essere in formato "binario" per ogni osservazione (ad es. Y = 0 o 1 per ogni osservazione); I dati possono essere nel formato "Wilkinson-Rogers" (ad es. y …

13 r logistic generalized-linear-model

5

Perché la discesa gradiente non è efficace per grandi serie di dati?

Supponiamo che il nostro set di dati contenga 1 milione di esempi, ovvero e desideriamo utilizzare la discesa gradiente per eseguire una regressione logistica o lineare su questi set di dati.X1, ... , x106x1,…,x106x_1, \ldots, x_{10^6} Cos'è con il metodo di discesa gradiente che lo rende inefficiente? Ricordiamo che il …

13 machine-learning gradient-descent large-data

3

Capire MCMC: quale sarebbe l'alternativa?

Imparare le statistiche bayesiane per la prima volta; come punto di vista verso la comprensione della MCMC, mi chiedevo: sta facendo qualcosa che fondamentalmente non può essere fatto in un altro modo o sta semplicemente facendo qualcosa di molto più efficiente delle alternative? A titolo di illustrazione, supponiamo di provare …

13 bayesian mcmc

2

Come viene calcolato il metodo .similarity in SpaCy?

Non sono sicuro se questo è il sito dello stack giusto, ma qui va. Come funziona il metodo .similiarity? Wow spaCy è fantastico! Il suo modello tfidf potrebbe essere più semplice, ma w2v con una sola riga di codice ?! Nel suo tutorial di 10 righe su spaCy andrazhribernik ci …

13 natural-language word2vec tf-idf nltk

4

Se ogni neurone in una rete neurale è sostanzialmente una funzione di regressione logistica, perché il multistrato è migliore?

Sto seguendo il corso DeepAI di Cousera (video della settimana 3 "Panoramica sulle reti neurali") e Andrew Ng sta spiegando come ogni strato in una rete neurale sia solo un'altra regressione logistica, ma non spiega come rendere le cose più accurate. Quindi, in una rete a 2 livelli, in che …

13 logistic neural-networks

1

Perché il classificatore bayes ingenuo è ottimale per la perdita 0-1?

Il classificatore Naive Bayes è il classificatore che assegna gli elementi xxx a una classe CCC base alla massimizzazione della posteriore ( C | x )P(C|x)P(C|x)P(C|x) per l'appartenenza alla classe e presuppone che le caratteristiche degli elementi siano indipendenti. La perdita 0-1 è la perdita che assegna a qualsiasi classificazione …

13 machine-learning bayesian optimization naive-bayes loss-functions

1

Perché l'algoritmo di discesa "Saddle-Freeton Newton" non viene utilizzato nella pratica?

Di recente ho letto un articolo di Yann Dauphin et al. Identificazione e attacco del problema del punto di sella nell'ottimizzazione non convessa ad alta dimensione , in cui introducono un interessante algoritmo di discesa chiamato Saddle-Free Newton , che sembra essere esattamente su misura per l'ottimizzazione della rete neurale …

13 optimization deep-learning gradient-descent

1

La 2SLS Just-Identified è mediana non distorta?

In Mostly Harmless Econometrics: An Empiricist's Companion (Angrist and Pischke, 2009: pagina 209) Ho letto quanto segue: (...) In effetti, 2SLS appena identificato (diciamo, il semplice stimatore Wald) è approssimativamente imparziale . Questo è difficile da mostrare formalmente perché la 2SLS appena identificata non ha momenti (cioè, la distribuzione del …

13 regression self-study multiple-regression econometrics instrumental-variables

2

Ci sono circostanze in cui si dovrebbe usare la regressione graduale?

La regressione graduale era stata abusata in molti articoli biomedici in passato, ma questo sembra migliorare con una migliore educazione dei suoi numerosi problemi. Molti revisori più anziani tuttavia lo richiedono ancora. Quali sono le circostanze in cui la regressione graduale ha un ruolo e dovrebbe essere utilizzata, se presente?

13 regression multiple-regression feature-selection model-selection stepwise-regression