Statistiche e Big Data

1

La regressione della cresta può essere espressa come dove è l'etichetta prevista , la identifica, l'oggetto per cui stiamo cercando di trovare un'etichetta e la matrice di oggetti tale che: y Idd×dxXn×dnxi=(xi,1,...,Xi,d)∈Rdy^= ( X'X +a Id)- 1X xy^=(X′X+aId)−1Xx\hat{y} = (\mathbf{X'X} + a\mathbf{I}_d)^{-1}\mathbf{X}xy^y^\hat{y}iodId\mathbf{I}_dd× dd×dd \times dXx\mathbf{x}XX\mathbf{X}n × dn×dn \times dnnnXio= ( …

11 regression ridge-regression kernel-trick

3

Eigenmaps PCA, ICA e Laplacian

Domanda Sono molto interessato al metodo Eigenmaps Laplaciano. Attualmente lo sto usando per ridurre le dimensioni dei miei set di dati medici. Tuttavia, ho riscontrato un problema utilizzando il metodo. Ad esempio, ho alcuni dati (segnali spettri) e posso usare PCA (o ICA) per ottenere alcuni PC (o IC). Il …

11 pca ica

4

Come trovi le relazioni causali nei dati?

Diciamo che ho una tabella con le colonne "A", "B" Esiste un metodo statistico per determinare se "A" provoca "B"? Non si può davvero usare la Pearson's r, perché: verifica solo la correlazione tra valori la correlazione non è causalità La r di Pearson può solo correlare relazioni lineari Quindi …

11 correlation causality

3

Creazione di valori casuali auto-correlati in R

Stiamo provando a creare valori casuali auto-correlati che verranno utilizzati come timeseries. Non abbiamo dati a cui ci riferiamo e vogliamo solo creare il vettore da zero. Da un lato abbiamo ovviamente bisogno di un processo casuale con distribuzione e sua SD. D'altra parte deve essere descritta l'autocorrelazione che influenza …

11 r time-series random-variable autocorrelation lags

1

Fisher Test in R

Supponiamo di avere il seguente set di dati: Men Women Dieting 10 30 Non-dieting 5 60 Se eseguo il test esatto di Fisher in R, che cosa implica alternative = greater(o meno)? Per esempio: mat = matrix(c(10,5,30,60), 2,2) fisher.test(mat, alternative="greater") Ottengo il p-value = 0.01588e odds ratio = 3.943534. Inoltre, …

11 r statistical-significance contingency-tables fishers-exact

2

Foresta casuale su dati raggruppati

Sto usando una foresta casuale su dati raggruppati ad alta dimensione (50 variabili di input numeriche) che hanno una struttura gerarchica. I dati sono stati raccolti con 6 repliche in 30 posizioni di 70 oggetti diversi, ottenendo 12600 punti dati, che non sono indipendenti. Sembra che la foresta casuale stia …

11 regression random-forest

3

Come calcolare la differenza di due pendenze?

Esiste un metodo per capire se due linee sono (più o meno) parallele? Ho due linee generate da regressioni lineari e vorrei capire se sono parallele. In altre parole, vorrei ottenere le diverse pendenze di queste due linee. Esiste una funzione R per calcolare questo? EDIT: ... e come posso …

11 r regression interaction linear-model

3

Qual è la differenza tra distribuzione esponenziale e geometrica?

Non capisco davvero la differenza tra distribuzione esponenziale e geometrica.

11 distributions

5

Come confrontare 2 serie temporali non stazionarie per determinare una correlazione?

Ho due serie di dati che tracciano l'età mediana alla morte nel tempo. Entrambe le serie dimostrano un aumento dell'età alla morte nel tempo, ma una molto più bassa di un'altra. Voglio determinare se l'aumento dell'età alla morte del campione inferiore è significativamente diverso da quello del campione superiore. Ecco …

11 time-series correlation stata

1

Test di effetti simultanei e ritardati in modelli misti longitudinali con covariate variabili nel tempo

Di recente mi è stato detto che non era possibile incorporare covariate variabili nel tempo in modelli misti longitudinali senza introdurre un ritardo per queste covariate. Puoi confermare / negare questo? Hai qualche riferimento su questa situazione? Propongo una situazione semplice per chiarire. Supponiamo di avere ripetute misure (diciamo più …

11 r mixed-model lme4-nlme

4

Cosa fare delle spiegazioni in serie temporali?

Avendo lavorato per lo più con dati trasversali finora e, molto recentemente, navigando, scansionando inciampando in un mucchio di letteratura introduttiva sulle serie temporali, mi chiedo quale ruolo svolgano le variabili esplicative nell'analisi delle serie temporali. Vorrei spiegare una tendenza anziché declinare. La maggior parte di ciò che ho letto …

11 r time-series multivariate-analysis

6

Come posso ridurre il numero di punti dati in una serie?

Non ho studiato le statistiche per oltre 10 anni (e quindi solo un corso base), quindi forse la mia domanda è un po 'difficile da capire. Comunque, quello che voglio fare è ridurre il numero di punti dati in una serie. L'asse x è il numero di millisecondi dall'inizio della …

11 data-visualization

1

Come gestite le variabili "nidificate" in un modello di regressione?

Considera un problema statistico in cui hai una responsevariabile che vuoi descrivere in base a una explanatoryvariabile e una nestedvariabile, in cui la variabile nidificata si pone solo come variabile significativa per valori particolari della variabile esplicativa . Nei casi in cui la variabile esplicativa non ammette una variabile nidificata …

11 regression generalized-linear-model glmm nested-data

1

Come raggruppare automaticamente una U-Matrix?

Dopo aver allenato una mappa auto-organizzata, è possibile calcolare la U-Matrix . Esistono alcuni strumenti per visualizzarlo manualmente e identificare i cluster, ma mi chiedo se esiste un algoritmo per eseguire questo processo in modo automatico (ovvero non avere un essere umano che guarda la figura per identificare i cluster). …

10 clustering image-processing self-organizing-maps

1

È "giusto" mettere un seme in una regressione casuale della foresta per ottenere la massima precisione?

Ho una regressione casuale della foresta creata usando skl e noto che produco risultati diversi in base all'impostazione del seme casuale su valori diversi. Se uso LOOCV per stabilire quale seme funziona meglio, è un metodo valido?

10 cross-validation random-forest