Statistiche e Big Data

Domande e risposte per le persone interessate alle statistiche, all'apprendimento automatico, all'analisi dei dati, al data mining e alla visualizzazione dei dati

1
Foresta casuale in un'impostazione di Big Data
Ho un set di dati con 5.818.446 righe e 51 colonne, di cui 50 sono predittori. La mia risposta è quantitativa, quindi sono interessato a un modello di regressione. Sto provando ad adattare una foresta casuale ai miei dati usando il pacchetto caret. Tuttavia, non ho abbastanza RAM per farlo. …

1
Svantaggi della rete elastica rispetto al lazo?
Quali sono gli svantaggi dell'utilizzo della rete elastica rispetto al lazo. So che la rete elastica è in grado di selezionare gruppi di variabili quando sono altamente correlati. Non ha il problema di selezionare più di predittori quando . Considerando che il lazo si satura quando .nnnp≫np≫np \gg np≫np≫np \gg …

1
Definizione della funzione softmax
Questa domanda fa seguito a stats.stackexchange.com/q/233658 Il modello di regressione logistica per le classi {0, 1} è P(y=1|x)=exp(wTx)1+exp(wTx)P(y=0|x)=11+exp(wTx)P(y=1|x)=exp⁡(wTx)1+exp⁡(wTx)P(y=0|x)=11+exp⁡(wTx) \mathbb{P} (y = 1 \;|\; x) = \frac{\exp(w^T x)}{1 + \exp(w^T x)} \\ \mathbb{P} (y = 0 \;|\; x) = \frac{1}{1 + \exp(w^T x)} Chiaramente queste probabilità si sommano a 1. Impostando …

2
Come rappresentare correttamente le variabili di differenza nei DAG?
Se sono interessato agli effetti causali della variazione di una variabile ( ) su un risultato ( ), come lo rappresenterei in un grafico aciclico diretto (DAG)?EEEOOO Supponiamo che , dove ed verificano a volte 1 e 2, un DAG corretto sia: ΔE2=E2−E1ΔE2=E2-E1\Delta E_2 = E_2 - E_1E1E1E_1E2E2E_2 1. Supponendo …

1
Intuizione (geometrica o altro) di
In un'altra puntata di intuizioni per identità in probabilità, si consideri la Legge dell'identità elementare della varianza totale V a r (X)=E [ V a r (X | Y)]+ V a r (E[X | Y])Var(X)=E[Var(X|Y)]+Var(E[X|Y]) \begin{eqnarray} \rm{Var}(X) &=&\rm{E}[\rm{Var}(X|Y)] + \rm{Var}(E[X|Y]) \end{eqnarray} È una semplice manipolazione algebrica semplice della definizione di …

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.