Statistiche e Big Data

1

Uso di predittori circolari nella regressione lineare

Sto cercando di adattare un modello usando i dati del vento (0, 359) e l'ora del giorno (0, 23), ma temo che si adatteranno male ad una regressione lineare perché non sono essi stessi parametri lineari. Vorrei trasformarli usando Python. Ho visto qualche menzione del calcolo di una media vettoriale …

19 regression python circular-statistics

3

Importanza del nodo di polarizzazione nelle reti neurali

Sono curioso di sapere quanto sia importante il nodo di polarizzazione per l'efficacia delle moderne reti neurali. Posso facilmente capire che può essere importante in una rete poco profonda con solo poche variabili di input. Tuttavia, le moderne reti neurali come l'apprendimento profondo spesso hanno un gran numero di variabili …

19 neural-networks deep-learning bias-node

3

Julia: fare il punto su come è andata

Questo post riguarda un evento in rapida evoluzione. Mi sono imbattuto in una domanda del 2012 che ha avuto un'ottima discussione su Julia come alternativa a R / Python per vari tipi di lavoro statistico. Ecco la domanda originale del 2012 sulla promessa di Julia Purtroppo Julia era molto nuova …

19 r python computing julia

1

Comprensione geometrica della PCA nello spazio soggetto (doppio)

Sto cercando di ottenere una comprensione intuitiva di come funziona l'analisi dei componenti principali (PCA) nello spazio soggetto (doppio) . Considerare un set di dati 2D con due variabili, x1x1x_1 e e punti dati (la matrice di dati è e si presume che sia centrata). La normale presentazione di PCA …

19 pca linear-algebra intuition geometry

5

Come utilizzare la decomposizione di Cholesky o un'alternativa per la simulazione di dati correlati

Uso la decomposizione di Cholesky per simulare variabili casuali correlate in base a una matrice di correlazione. Il fatto è che il risultato non riproduce mai la struttura di correlazione così come viene fornita. Ecco un piccolo esempio in Python per illustrare la situazione. import numpy as np n_obs = …

19 correlation random-generation cholesky

1

Cosa concludere da questa trama lazo (glmnet)

Di seguito è riportato il diagramma di glmnet con alpha predefinito (1, quindi lazo) che utilizza il mtcarsset di dati in R con mpgcome DV e altri come variabili predittive. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Cosa possiamo concludere da questo diagramma riguardo alle diverse variabili, in particolare am, cyle wt(linee rosse, nere e …

19 regression feature-selection lasso glmnet

3

Come funziona la formula per generare variabili casuali correlate?

Se abbiamo 2 variabili casuali normali, non correlate allora possiamo creare 2 variabili casuali correlate con la formulaX1, X2X1,X2X_1, X_2 Y= ρ X1+ 1 - ρ2-----√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 e poi avrà una correlazione con .ρYYYρρ\rhoX1X1X_1 Qualcuno può spiegare da dove proviene questa formula?

19 correlation normal-distribution covariance

1

Intervallo di previsione basato sulla convalida incrociata (CV)

Nei libri di testo e nelle lezioni su YouTube ho imparato molto sui modelli iterativi come il potenziamento, ma non ho mai visto nulla sulla derivazione di un intervallo di predizione. La convalida incrociata viene utilizzata per quanto segue: Selezione del modello : prova diversi modelli e scegli quello più …

19 cross-validation boosting prediction-interval

3

Perché è parametrico Pearson e Spearman non parametrico

Apparentemente il coefficiente di correlazione di Pearson è parametrico e il rho di Spearman non è parametrico. Sto avendo problemi a capirlo. A quanto ho capito, Pearson è calcolato come e Spearman sono calcolati allo stesso modo, tranne che sostituiamo tutti i valori con i loro ranghi.rxy=cov(X,Y)σxσyrxy=cov(X,Y)σxσy r_{xy} = \frac{cov(X,Y)}{\sigma_x\sigma_y} …

19 nonparametric pearson-r parametric spearman-rho

3

Confusione con falso tasso di scoperta e test multipli (su Colquhoun 2014)

Ho letto questo fantastico articolo di David Colquhoun: un'indagine sul tasso di false scoperte e sull'errata interpretazione dei valori p (2014). In sostanza, spiega perché il tasso di rilevamento falso (FDR) può raggiungere il anche se controlliamo l'errore di tipo I con α = 0,05 .30%30%30\%α=0.05α=0.05\alpha=0.05 Tuttavia, sono ancora confuso …

19 hypothesis-testing statistical-significance p-value multiple-comparisons false-discovery-rate

2

Analisi elastica / cresta / lazo, e allora?

Mi sto davvero interessando alla procedura della rete elastica per la riduzione / selezione del predittore. Sembra molto potente. Ma dal punto di vista scientifico non so bene cosa fare una volta ottenuti i coefficienti. A quale domanda sto rispondendo? Queste sono le variabili che influenzano maggiormente questo risultato e …

19 hypothesis-testing prediction inference lasso elastic-net

5

Esistono versioni di t-SNE per lo streaming dei dati?

La mia comprensione di t-SNE e dell'approssimazione di Barnes-Hut è che tutti i punti dati sono richiesti in modo che tutte le interazioni di forza possano essere calcolate contemporaneamente e ogni punto possa essere regolato nella mappa 2d (o di dimensione inferiore). Esistono versioni di t-sne in grado di gestire …

19 data-visualization dimensionality-reduction multidimensional-scaling tsne

1

Perché i prezzi delle azioni sono lognormali ma i rendimenti delle azioni sono normali

A parte il fatto che i rendimenti possono essere negativi mentre i prezzi devono essere positivi, c'è qualche altra ragione dietro la modellazione dei prezzi delle azioni come distribuzione normale dei registri ma la modellazione dei rendimenti delle azioni come distribuzione normale?

19 normal-distribution lognormal finance

4

Cosa sono esattamente i momenti? Come vengono derivati?

In genere siamo introdotti al metodo degli stimatori dei momenti "equiparando i momenti della popolazione alla loro controparte campionaria" fino a quando non abbiamo stimato tutti i parametri della popolazione; in modo che, nel caso di una distribuzione normale, avremmo bisogno solo del primo e del secondo momento perché descrivono …

19 mathematical-statistics lognormal moments method-of-moments

2

Come si possono utilizzare le reti neurali ricorrenti per la classificazione delle sequenze?

RNN può essere utilizzato per la previsione o il mapping da sequenza a sequenza. Ma come si può usare RNN per la classificazione? Voglio dire, diamo un'intera sequenza un'etichetta.

19 machine-learning neural-networks rnn