Statistiche e Big Data

3

Regressione lineare: qualsiasi distribuzione non normale che dà identità di OLS e MLE?

Questa domanda si ispira alla lunga discussione nei commenti qui: in che modo la regressione lineare usa la distribuzione normale? Nel solito modello di regressione lineare, per semplicità qui scritto con un solo predittore: Yi=β0+β1xi+ϵiYi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i dove xixix_i sono costanti note e ϵiϵi\epsilon_i …

13 regression normal-distribution mathematical-statistics maximum-likelihood least-squares

7

È sbagliato riferirsi ai risultati come "quasi" o "piuttosto" significativi?

Il consenso generale su una domanda simile, è sbagliato riferirsi ai risultati come "altamente significativi"? è che "altamente significativo" è un modo valido, anche se non specifico, per descrivere la forza di un'associazione che ha un valore p molto inferiore alla soglia di significatività preimpostata. Tuttavia, che dire della descrizione …

13 hypothesis-testing statistical-significance p-value terminology

1

Che tipo di grafico è questo?

Ci scusiamo per la vaga domanda, ma questo grafico appare in Biddle et al. 2009 e non ho mai visto nulla di simile prima. È un grafico a barre con bordi smussati, a volte "corna". Cosa significano questi? Questo tipo di grafico ha un nome? Per /meta/244083/site-for-asking-about-charts ho pensato che …

13 data-visualization boxplot

3

centrare e ridimensionare variabili fittizie

Ho un set di dati che contiene sia variabili categoriali che variabili continue. Mi è stato consigliato di trasformare le variabili categoriali in variabili binarie per ogni livello (ad esempio, A_level1: {0,1}, A_level2: {0,1}) - Penso che alcuni abbiano chiamato queste "variabili fittizie". Detto questo, sarebbe fuorviante quindi centrare e …

13 categorical-data data-transformation centering

1

Riduzione della dimensionalità supervisionata

Ho un set di dati composto da 15K campioni etichettati (di 10 gruppi). Voglio applicare la riduzione della dimensionalità in 2 dimensioni, che prenderebbe in considerazione la conoscenza delle etichette. Quando utilizzo tecniche di riduzione della dimensionalità non standard "standard" come PCA, il grafico a dispersione sembra non avere nulla …

13 machine-learning pca dimensionality-reduction supervised-learning discriminant-analysis

1

Quali sono i componenti principali "ruotati" e "non ruotati", dato che PCA ruota sempre gli assi delle coordinate?

Per quanto ho capito, i componenti principali sono ottenuti ruotando gli assi delle coordinate per allinearli con le direzioni della massima varianza. Ciononostante, continuo a leggere "componenti principali non ruotati" e il mio software di statistica (SAS) mi offre componenti principali ruotati in varimax e quelli non ruotati. Qui sono …

13 pca terminology factor-rotation

1

Come addestrare il livello LSTM della rete profonda

Sto usando una rete lstm e feed-forward per classificare il testo. Converto il testo in vettori one-hot e inserisco ciascuno in lstm in modo da poterlo riassumere in un'unica rappresentazione. Quindi lo invio all'altra rete. Ma come posso addestrare lstm? Voglio solo classificare in sequenza il testo: dovrei dargli da …

13 classification neural-networks deep-learning lstm

3

In che modo esattamente le reti neurali convoluzionali usano la convoluzione al posto della moltiplicazione della matrice?

Stavo leggendo il Libro di Yoshua Bengio sull'apprendimento profondo e si dice a pagina 224: Le reti convoluzionali sono semplicemente reti neurali che usano la convoluzione al posto della moltiplicazione della matrice generale in almeno uno dei loro strati. tuttavia, non ero sicuro al 100% di come "sostituire la moltiplicazione …

13 machine-learning neural-networks deep-learning convolution

5

Come posso convertire la distanza (euclidea) in punteggio di somiglianza

Sto usando kkk significa raggruppare per raggruppare le voci dei relatori. Quando confronto un'enunciazione con i dati degli altoparlanti raggruppati ottengo una distorsione media (basata sulla distanza euclidea). Questa distanza può essere nell'intervallo di [0,∞][0,∞][0,\infty] . Voglio convertire questa distanza in un punteggio di somiglianza [0,1][0,1][0,1] . Per favore guidami …

13 clustering k-means distance euclidean

1

Che cos'è una statistica F parziale?

Che cos'è una statistica F parziale? È lo stesso del test F parziale? Quando calcoleresti una statistica F parziale? Suppongo che questo abbia qualcosa a che fare con il confronto dei modelli di regressione, ma non sto seguendo qualcosa (?)

13 regression multiple-regression

1

L'adattamento del modello Cox con gli strati e l'interazione strati-covariata differisce dal montaggio di due modelli Cox?

In Regressione Modeling Strategies di Harrell (seconda edizione) c'è una sezione (S. 20.1.7) che discute i modelli di Cox tra cui un'interazione tra una covariata di cui vogliamo stimare anche l'effetto principale sulla sopravvivenza (età nell'esempio seguente) e un covariata di cui non vogliamo stimare l'effetto principale (genere nell'esempio seguente). …

13 survival cox-model stratification

1

Qual è la varianza di lungo periodo?

Come viene definita la varianza di lungo periodo nel regno dell'analisi delle serie temporali? Capisco che viene utilizzato nel caso in cui vi sia una struttura di correlazione nei dati. Quindi il nostro processo stocastico non sarebbe una famiglia di X1,X2…X1,X2…X_1, X_2 \dots variabili casuali ma piuttosto distribuite in modo …

13 time-series variance references kernel-smoothing non-independent

3

La foresta casuale e il potenziamento sono parametrici o non parametrici?

Leggendo l'eccellente modellistica statistica: le due culture (Breiman 2001) , possiamo cogliere tutta la differenza tra modelli statistici tradizionali (ad es. Regressione lineare) e algoritmi di apprendimento automatico (ad es. Insaccamento, foresta casuale, alberi potenziati ...). Breiman critica i modelli di dati (parametrici) perché si basano sul presupposto che le …

13 machine-learning data-mining random-forest boosting bagging

1

Una domanda relativa a Borel-Cantelli Lemma

Nota: Lo dice Borel-Cantelli Lemma ∑n=1∞P(An)<∞⇒P(limsupAn)=0∑n=1∞P(An)<∞⇒P(limsupAn)=0\sum_{n=1}^\infty P(A_n) \lt \infty \Rightarrow P(\lim\sup A_n)=0 ∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1∑n=1∞P(An)=∞ and An's are independent⇒P(limsupAn)=1\sum_{n=1}^\infty P(A_n) =\infty \textrm{ and } A_n\textrm{'s are independent} \Rightarrow P(\lim\sup A_n)=1 Poi, if∑n=1∞P(AnAcn+1)<∞∑n=1∞P(AnAn+1c)<∞\sum_{n=1}^\infty P(A_nA_{n+1}^c )\lt \infty usando Borel-Cantelli Lemma Voglio dimostrarlo in primo luogo, limn→∞P(An)limn→∞P(An)\lim_{n\to \infty}P(A_n) esiste e in …

13 probability self-study stochastic-processes probability-inequalities

3

Relazione tra somma di camper gaussiani e miscela gaussiana

So che una somma di gaussiani è gaussiana. Quindi, in che cosa differisce un miscuglio di gaussiani? Voglio dire, una miscela di gaussiani è solo una somma di gaussiani (dove ogni gaussiano è moltiplicato per il rispettivo coefficiente di miscelazione) giusto?

13 normal-distribution random-variable mixture gaussian-mixture