Statistiche e Big Data

2

Qual è il "parametro componente varianza" nel modello a effetti misti?

A pagina 12 del libro di Bates sul modello a effetti misti , descrive il modello come segue: Verso la fine dello screenshot, menziona il fattore di covarianza relativo , in base al parametro varianza-componente , θΛθΛθ\Lambda_{\theta}θθ\theta senza spiegare qual è esattamente la relazione. Supponiamo che ci venga dato , …

9 mixed-model references multilevel-analysis

2

Schemi di ponderazione alternativa per meta-analisi di effetti casuali: deviazioni standard mancanti

Sto lavorando a una meta-analisi di effetti casuali che copre una serie di studi che non riportano deviazioni standard; tutti gli studi riportano la dimensione del campione. Non credo che sia possibile approssimare o imputare i dati mancanti SD. In che modo una meta-analisi che utilizza differenze grezze (non standardizzate) …

9 stata missing-data meta-analysis meta-regression

2

Quando si utilizzano SVM, perché devo ridimensionare le funzionalità?

Secondo la documentazione dell'oggetto StandardScaler in scikit-learn: Ad esempio, molti elementi utilizzati nella funzione obiettivo di un algoritmo di apprendimento (come il kernel RBF di Support Vector Machines o i regolarizzatori L1 e L2 dei modelli lineari) presuppongono che tutte le funzioni siano centrate attorno a 0 e abbiano una …

9 machine-learning svm standard-deviation mean references

1

Perché l'eliminazione all'indietro è giustificata quando si effettua la regressione multipla?

Non si traduce in un eccesso di adattamento? I miei risultati sarebbero più affidabili se aggiungessi una procedura jack-knife o bootstrap come parte dell'analisi?

9 multiple-regression bootstrap reliability overfitting jackknife

1

Perché i punteggi dei componenti principali non sono correlati?

Supose è una matrice di dati centrati sulla media. La matrice è , ha autovalori distinti e autovettori , ... , che sono ortogonali.UNA\mathbf AS =cov( A )S=COV(UN)\mathbf S=\text{cov}(\mathbf A)m × mm×mm\times mmmmS1S1\mathbf s_1S2S2\mathbf s_2SmSm\mathbf s_m L' -esimo componente principale (alcune persone li chiamano "punteggi") è il vettore . In …

9 correlation pca linear-algebra

1

Come usare anova per il confronto tra due modelli?

Come devo capire il anovarisultato quando si confrontano due modelli? Esempio: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** La manpage afferma: "Calcola l'analisi delle tabelle di varianza (o devianza) per uno o più oggetti modello adattati". Tuttavia, il …

9 r regression anova

2

Back-testing o cross-validation quando il processo di costruzione del modello era interattivo

Ho alcuni modelli predittivi di cui vorrei eseguire il back-test delle prestazioni (ovvero, portare il mio set di dati, "riavvolgerlo" a un punto precedente nel tempo e vedere come il modello si sarebbe comportato in modo prospettico). Il problema è che alcuni dei miei modelli sono stati creati tramite un …

9 cross-validation modeling outliers splines overfitting

1

Riconciliazione degli alberi di regressione potenziata (BRT), modelli potenziati generalizzati (GBM) e macchina per il potenziamento del gradiente (GBM)

Domande: Qual è la differenza (s) tra alberi di regressione potenziata (BRT) e modelli potenziati generalizzati (GBM)? Possono essere usati in modo intercambiabile? L'una è una forma specifica dell'altra? Perché Ridgeway ha usato la frase "Generalized Boosted Regression Models" (GBM), per descrivere ciò che Friedman aveva precedentemente proposto come "Gradient …

9 machine-learning boosting gbm

2

Stima degli errori out-of-bag per il boost?

In Random Forest, ogni albero viene cresciuto in parallelo su un unico esempio di boostrap dei dati. Poiché ci si aspetta che ogni campione di boostrap contenga circa il 63% di osservazioni uniche, questo lascia circa il 37% di osservazioni che possono essere utilizzate per testare l'albero. Ora, sembra che …

9 machine-learning cross-validation data-mining random-forest boosting

1

Date due catene assorbenti di Markov, qual è la probabilità che una si interrompa prima dell'altra?

Ho due diverse catene di Markov, ognuna con uno stato assorbente e una posizione iniziale nota. Voglio determinare la probabilità che la catena 1 raggiunga uno stato di assorbimento in meno passaggi rispetto alla catena 2. Penso di poter calcolare la probabilità di raggiungere uno stato assorbente in una particolare …

9 probability markov-chain transition-matrix

2

Come trovare pesi per una misura di dissomiglianza

Voglio imparare (dedurre) i pesi degli attributi per la mia misura di dissimilarità che posso usare per il clustering. Ho alcuni esempi di coppie di oggetti che sono "simili" (dovrebbero essere nello stesso cluster), nonché alcuni esempi di coppie di oggetti "non simili" (non dovrebbero essere nello stesso cluster). Ogni …

9 clustering similarities supervised-learning semi-supervised

1

Come trovare e valutare la discretizzazione ottimale per la variabile continua con criterio

Ho un set di dati con variabile continua e una variabile di destinazione binaria (0 e 1). Devo discretizzare le variabili continue (per la regressione logistica) rispetto alla variabile target e con il vincolo che la frequenza di osservazione in ciascun intervallo dovrebbe essere bilanciata. Ho provato algoritmi di machine …

9 r machine-learning chi-squared discrete-data supervised-learning

4

Test esatto di Fisher su dati associati

Dati casi con carcinoma polmonare e controlli corrispondenti (senza carcinoma polmonare) (abbinamento basato su età, sesso, ecc.). Per cercare di trovare prove tra l'effetto del fumo sul cancro del polmone, ho usato l'esatto test di Fisher sul tavolo delle contingenze. Ciò tuttavia non ha tenuto conto del fatto che i …

9 contingency-tables fishers-exact paired-data mcnemar-test

2

Gli alberi CART acquisiscono interazioni tra i predittori?

Questo documento afferma che in CART, poiché una divisione binaria viene eseguita su una singola covariata ad ogni passaggio, tutte le divisioni sono ortogonali e quindi le interazioni tra covariate non sono considerate. Tuttavia, molti riferimenti molto seri sostengono, al contrario, che la struttura gerarchica di un albero garantisce che …

9 machine-learning classification data-mining cart

2

Combinazione lineare di due non normali casuali che è ancora un membro della stessa famiglia

È noto che una combinazione lineare di 2 variabili normali casuali è anche una variabile normale casuale. Esistono famiglie di distribuzione non normali comuni (ad es. Weibull) che condividono anche questa proprietà? Sembra che ci siano molti controesempi. Ad esempio, una combinazione lineare di uniformi non è in genere uniforme. …

9 distributions linear