Statistiche e Big Data

2

Il collo di bottiglia nell'applicazione pratica del deep learning

Dopo aver letto molti articoli di deep learning, una sorta di sensazione approssimativa è che ci sono molti trucchi nell'allenamento della rete per ottenere prestazioni migliori del normale. Dal punto di vista delle applicazioni del settore, è molto difficile sviluppare questo tipo di trucchi, tranne quei gruppi di ricerca d'élite …

9 machine-learning deep-learning deep-belief-networks

3

Se

Questo non è un compito. Lascia che XXX sia una variabile casuale. Se E[X]=k∈RE[X]=k∈R\mathbb{E}[X] = k \in \mathbb{R} e Var[X]=0Var[X]=0\text{Var}[X] = 0 , segue che Pr(X=k)=1Pr(X=k)=1\Pr\left(X = k\right) = 1 ? Intuitivamente, questo sembra ovvio, ma non sono sicuro di come lo dimostrerei. So per certo che dalle ipotesi segue …

9 probability

2

Quali settori scientifici studiano come le persone interpretano riassunti e visualizzazioni quantitativi?

C'è un'abbondanza di risorse ben note che offrono consigli sulla visualizzazione dei dati. (Ad esempio Tufte, Stephen Few et al , Nathan Yau .) Ma a quale campo (i) si potrebbe rivolgersi per le risposte a domande come queste: La critica del grafico a torta è rilevante nella pratica? Le …

9 data-visualization interpretation terminology presentation

1

Normalità asintotica della statistica dell'ordine delle distribuzioni dalla coda pesante

Sfondo: ho un campione che voglio modellare con una distribuzione dalla coda pesante. Ho alcuni valori estremi, tali che la diffusione delle osservazioni è relativamente grande. La mia idea era quella di modellare questo con una distribuzione Pareto generalizzata, e così ho fatto. Ora, il quantile 0,975 dei miei dati …

9 confidence-interval quantiles asymptotics order-statistics

1

I contorni

Presumo una configurazione generale di regressione, ovvero una funzione continua hθ:X→Rnhθ:X→Rnh_\theta:X\to \mathbb R^n viene scelta da una famiglia {hθ}θ{hθ}θ\{h_\theta\}_\theta per adattarsi ai dati dati (xi,yi)∈X×Rn,i=1,…,k(xi,yi)∈X×Rn,i=1,…,k(x_i,y_i)\in X\times \mathbb R^n, i=1,\ldots, k ( XXX può essere qualsiasi spazio come cubo [0,1]m[0,1]m[0,1]^m in effetti qualsiasi spazio topologico ragionevole) secondo alcuni criteri naturali. Esistono …

9 regression machine-learning multiple-regression

2

Prelievo di campioni da una distribuzione normale multivariata soggetta a vincoli quadratici

Vorrei disegnare in modo efficiente campioni da con il vincolo che .x∈Rdx∈Rdx \in \mathbb{R}^dN(μ,Σ)N(μ,Σ)\mathcal{N}(\mu, \Sigma)||x||2=1||x||2=1||x||_2 = 1

9 distributions normal-distribution sampling multivariate-normal importance-sampling

1

Cosa dovrebbe coprire un corso di laurea in design sperimentale?

Mi è stato chiesto di proporre un corso di progettazione sperimentale per studenti laureati in agronomia ed ecologia. Non ho mai seguito un corso del genere, e sono rimasto sorpreso di scoprire che il corso potrebbe essere più appropriatamente chiamato "Oltre ANOVA a senso unico" e che copre il materiale …

9 references experiment-design teaching

1

invarianza di correlazione alla trasformazione lineare:

Questo è in realtà uno dei problemi della 4a edizione di Basic Econometrics del Gujarati (Q3.11) e afferma che il coefficiente di correlazione è invariante rispetto al cambio di origine e scala, cioè dove a , b , c , d sono costanti arbitrarie.corr ( una X+ b , c …

9 self-study correlation linear-algebra mathematical-statistics

1

Perché la discesa gradiente prossimale invece di semplici metodi a gradiente inferiore per il lazo?

Stavo pensando di risolvere Lasso tramite metodi di laurea alla vaniglia. Ma ho letto persone che suggeriscono di usare la discesa gradiente prossimale. Qualcuno può evidenziare perché per il Lazo si possono usare i metodi GD prossimali anziché i metodi secondari alla vaniglia?

9 machine-learning optimization lasso gradient-descent

1

Ci sono processi in natura distribuiti esattamente normali?

Molto è stato detto sull'importanza delle normali distribuzioni in natura. Molte misure come altezza o peso sono distribuite in modo pressoché normale. Ma nessuno di loro è esattamente normale, per quanto ho capito. Considerando che la distribuzione normale è una delle massime distribuzioni di entropia , sembra plausibile che alla …

9 normal-distribution normality-assumption

2

Selezione delle funzionalità per problemi di clustering

Sto cercando di raggruppare insieme diversi set di dati utilizzando algoritmi non supervisionati (clustering). Il problema è che ho molte funzionalità (~ 500) e una piccola quantità di casi (200-300). Finora ero solito fare solo problemi di classificazione per i quali avevo sempre etichettato i dati come set di addestramento. …

9 r clustering feature-selection unsupervised-learning

3

Dimezzare una variabile casuale discreta?

Sia una variabile casuale discreta che prende i suoi valori in . Vorrei dimezzare questa variabile, cioè trovare una variabile casuale come:N YXXXNN\mathbb{N}YYY X=Y+Y∗X=Y+Y∗X = Y + Y^* dove è una copia indipendente di .Y∗Y∗Y^*YYY Mi riferisco a questo processo come dimezzamento ; questa è una terminologia inventata. C'è un …

9 random-variable

1

Selezione del modello originale (?) Con CV piega a k

Quando utilizzo CV di k-fold per selezionare tra i modelli di regressione, di solito computo l'errore CV separatamente per ciascun modello, insieme al suo errore standard SE, e seleziono il modello più semplice entro 1 SE dal modello con l'errore CV più basso (il 1 regola di errore standard, vedere …

9 regression cross-validation model-selection

1

Perché la colonna intercetta in model.matrix sostituisce il primo fattore?

Sto cercando di convertire la colonna del mio fattore in variabili fittizie: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels <- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250 pointsBin.lte300 # 741 1 0 0 0 0 # …

9 r categorical-data categorical-encoding

1

Impossibile far funzionare correttamente questa rete del codificatore automatico (con livelli convoluzionali e maxpool)

Le reti di autoencoder sembrano essere molto più complicate delle normali reti MLP classificatore. Dopo diversi tentativi di utilizzo di Lasagne, tutto ciò che ottengo nell'output ricostruito è qualcosa che assomiglia al meglio a una media sfocata di tutte le immagini del database MNIST senza distinzioni su cosa sia effettivamente …

9 machine-learning neural-networks dimensionality-reduction unsupervised-learning autoencoders