Statistiche e Big Data

Poco background Sto lavorando sull'interpretazione dell'analisi di regressione, ma mi confondo molto sul significato di r, r al quadrato e deviazione standard residua. Conosco le definizioni: caratterizzazioni r misura la forza e la direzione di una relazione lineare tra due variabili su un diagramma a dispersione R-quadrato è una misura …

13 r  regression  regression-coefficients  linear  pearson-r 

Obbiettivo Conferma se la comprensione di KKT è corretta o meno. Cerca ulteriori spiegazioni e conferme su KKT. sfondo Cercare di capire le condizioni di KKT, in particolare quella complementare, che emerge sempre di punto in bianco negli articoli SVM. Non ho bisogno di un elenco di formule astratte ma …

13 svm  optimization  lagrange-multipliers 

Sto ottenendo alcuni risultati sconcertanti per la correlazione di una somma con una terza variabile quando i due predittori sono correlati negativamente. Cosa sta causando questi risultati sconcertanti? Esempio 1: correlazione tra la somma di due variabili e una terza variabile Considera la formula 16.23 a pagina 427 del testo …

13 correlation  multiple-regression 

Nel problema specifico con cui lavoro (una competizione) ho l'impostazione seguente: 21 caratteristiche (numeriche su [0,1]) e un'uscita binaria. Ho circa 100 K righe. L'ambientazione sembra essere molto rumorosa. Io e altri partecipanti applichiamo la generazione di funzionalità per un po 'e l'incorporamento stocastico distribuito a t distribuito si è …

13 machine-learning  dimensionality-reduction  unsupervised-learning  tsne 

\newcommand{\diag}{\operatorname{diag}} Abbiamo il problema: minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),minw∈Rd(1n∑i=1n(⟨w,xi⟩−yi)2+2λ||w||1),\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right), presupponendo che: ∑i=1nxixTi=diag(σ21,...,σ2d).∑i=1nxixiT=diag⁡(σ12,...,σd2).\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2). Esiste una soluzione a forma chiusa in questo caso? Ho questo: (XTX)−1=diag(σ−21,...,σ−2d),(XTX)−1=diag⁡(σ1−2,...,σd−2),(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right), e quindi penso che la risposta sia : wj=yjmax{0,1−λn|yj|},wj=yjmax{0,1−λn|yj|},w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\}, per yj=∑i=1nyixijσ2iyj=∑i=1nyixijσi2y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2} , ma non ne sono sicuro.

13 mathematical-statistics  lasso  computational-statistics  regularization 

Ho letto alcuni articoli sull'immaginazione manuale di immagini per "ingannare" una rete neurale (vedi sotto). Questo perché le reti modellano solo la probabilità condizionale ? Se una rete può modellare la probabilità congiunta p ( y , x ) , si verificheranno comunque casi del genere?p(y|x)p(y|x)p(y|x)p(y,x)p(y,x)p(y,x) La mia ipotesi è …

13 machine-learning  neural-networks  deep-learning 

Ho cercato su Google, Wikipedia, Google studioso e altro, ma non sono riuscito a trovare l'origine degli Autoencoder. Forse è uno di quei concetti che si sono evoluti molto gradualmente ed è impossibile risalire a un chiaro punto di partenza, ma vorrei comunque trovare una sorta di riassunto delle fasi …

13 neural-networks  autoencoders  history 

Sto cercando di capire se la trasformata discreta di Fourier fornisce la stessa rappresentazione di una curva come una regressione usando la base di Fourier. Per esempio, library(fda) Y=daily$tempav[,1] ## my data length(Y) ## =365 ## create Fourier basis and estimate the coefficients mybasis=create.fourier.basis(c(0,365),365) basisMat=eval.basis(1:365,mybasis) regcoef=coef(lm(Y~basisMat-1)) ## using Fourier transform …

13 fourier-transform  functional-data-analysis 

A mio avviso, i dati di input correlati devono portare a un overfitting nelle reti neurali perché la rete apprende la correlazione, ad esempio il rumore nei dati. È corretto?

13 correlation  neural-networks  overfitting 

In questa pagina centrale AP Variabili casuali vs. variabili algebriche , l'autore, Peter Flanagan-Hyde, distingue tra variabili algebriche e casuali. In parte dice x+x=2xx+x=2xx + x = 2x , ma X+X≠2XX+X≠2XX + X \neq 2X - in effetti è il sottotitolo dell'articolo. Qual è la differenza di base tra una …

13 probability  random-variable 

Sono nuovo nella ricerca statistica bayesiana. Ho sentito dai ricercatori che i ricercatori bayesiani implementano meglio MCMC da soli piuttosto che usare strumenti come JAGS / Stan. Posso chiederti quali sono i vantaggi dell'implementazione dell'algoritmo MCMC da soli (in un linguaggio "non abbastanza veloce" come R), tranne per scopi di …

13 bayesian  mcmc 

Date due variabili casuali e η , possiamo calcolare il loro "coefficiente di correlazione" c e formare la linea di adattamento migliore tra queste due variabili casuali. La mia domanda è: perché?ξξ\xiηη\etaccc 1) Esistono variabili casuali, e η che dipendono nel modo peggiore possibile, cioè ξ = f ( η …

13 regression 

Sto per finire i miei onori in statistica e voglio davvero fare un dottorato di ricerca perché trovo le statistiche matematiche estremamente interessanti. Aree di ricerca in cui desidero fare un dottorato sono i processi stocastici e le serie temporali. Tuttavia voglio anche perseguire una carriera nel settore privato dopo …

13 mathematical-statistics  careers  phd 

Nel libro di Bishop sull'apprendimento automatico, si discute del problema di adattare una funzione polinomiale a una serie di punti dati. Lascia che M sia l'ordine del polinomio montato. Si afferma così Vediamo che, all'aumentare di M, l'entità dei coefficienti in genere aumenta. In particolare per il polinomio M = …

13 regression  least-squares  curve-fitting  polynomial 

Quando si inizializzano i pesi di connessione in una rete neurale feedforward, è importante inizializzarli in modo casuale per evitare simmetrie che l'algoritmo di apprendimento non sarebbe in grado di rompere. La raccomandazione che ho visto in vari punti (ad es. Nel tutorial MNIST di TensorFlow ) è di usare …

13 neural-networks  backpropagation  weights  truncated-normal