Statistiche e Big Data

1

Comprensione delle previsioni dalla regressione logistica

Le mie previsioni provenienti da un modello di regressione logistica (glm in R) non sono limitate tra 0 e 1 come mi sarei aspettato. La mia comprensione della regressione logistica è che i parametri di input e modello sono combinati in modo lineare e la risposta viene trasformata in una …

13 r regression logistic generalized-linear-model

2

Per una matrice casuale, un SVD non dovrebbe spiegare nulla? Che cosa sto facendo di sbagliato?

Se costruissi una matrice 2D composta interamente da dati casuali, mi aspetterei che i componenti PCA e SVD non spieghino sostanzialmente nulla. Invece, sembra che la prima colonna SVD sembra spiegare il 75% dei dati. Come può essere possibile? Che cosa sto facendo di sbagliato? Ecco la trama: Ecco il …

13 r pca svd

1

Algebra di LDA. Potere di discriminazione di Fisher di un'analisi discriminante lineare e variabile

Apparentemente, l'analisi di Fisher mira a massimizzare contemporaneamente la separazione tra classi, minimizzando al contempo la dispersione all'interno delle classi. Una misura utile del potere di discriminazione di una variabile è quindi data dalla quantità diagonale: Bii/WiiBii/WiiB_{ii}/W_{ii} . http://root.cern.ch/root/htmldoc/TMVA__MethodFisher.html Ho capito che la dimensione ( p x p) della Between …

13 algorithms dimensionality-reduction discriminant-analysis sums-of-squares

1

Tecniche per l'analisi dei rapporti

Sto cercando consigli e commenti che trattino dell'analisi di rapporti e tassi. Nel campo in cui lavoro, l'analisi dei rapporti in particolare è molto diffusa, ma ho letto alcuni articoli che suggeriscono che ciò può essere problematico, sto pensando a: Kronmal, Richard A. 1993. Correlazione spuria e fallacia del rapporto …

13 modeling multiple-regression generalized-linear-model interaction confounding

2

Quanto lontano mi porterà lo studio personale?

Non ho mai preso parte a un corso ufficiale o strutturato di analisi dei dati o apprendimento automatico (oltre alle recenti offerte online) e ho imparato la maggior parte di ciò che so leggendo e provando cose. So di essere ben lungi dall'essere in grado di trovare un lavoro. La …

13 machine-learning data-mining careers

3

PCA su dati di testo ad alta dimensione prima della classificazione casuale delle foreste?

Ha senso fare PCA prima di effettuare una classificazione casuale delle foreste? Ho a che fare con dati di testo ad alta dimensione e voglio fare una riduzione delle caratteristiche per evitare la maledizione della dimensionalità, ma le foreste casuali non hanno già una sorta di riduzione della dimensione?

13 classification pca random-forest dimensionality-reduction high-dimensional

4

Trattare con legami, pesi e votazioni in kNN

Sto programmando un algoritmo kNN e vorrei sapere quanto segue: Tie-break: Cosa succede se non c'è un chiaro vincitore nel voto a maggioranza? Ad esempio, tutti i k vicini più vicini appartengono a classi diverse o per k = 4 ci sono 2 vicini di classe A e 2 vicini …

13 k-nearest-neighbour weights ties

2

regressione logistica vs poisson

Ho una coorte di pazienti con diversa durata del follow-up. Finora non sto tenendo conto dell'aspetto temporale e devo solo modellare un esito binario-malattia / nessuna malattia. Di solito faccio regressione logistica in questi studi, ma un altro mio collega mi ha chiesto se la regressione di Poisson sarebbe stata …

13 logistic poisson-distribution

1

Che cos'è la sezione trasversale in "sezione trasversale del rendimento delle scorte"?

Qualcuno può dare la definizione di sezione trasversale in "sezione trasversale del rendimento dello stock"? Grazie

13 finance cross-section

2

Var (X) è noto, come calcolare Var (1 / X)?

Se ho solo Var(X)Var(X)\mathrm{Var}(X) , come posso calcolare Var(1X)Var(1X)\mathrm{Var}(\frac{1}{X})? Non ho alcuna informazione sulla distribuzione di XXX , quindi non posso usare la trasformazione, o di qualsiasi altro metodo che utilizzano la distribuzione di probabilità di XXX .

13 distributions variance data-transformation

2

Come posso interpretare un modello probit in Stata?

Non sono sicuro di come interpretare questa regressione probit che ho eseguito su Stata. I dati sono in fase di approvazione del prestito e il bianco è una variabile fittizia che = 1 se una persona era bianca e = 0 se la persona non lo era. Qualsiasi aiuto su …

13 regression multiple-regression stata

1

Costruzione di funzionalità e normalizzazione nell'apprendimento automatico

Diciamo che voglio creare un classificatore logistico per un film M. Le mie caratteristiche sarebbero qualcosa come l'età della persona, il genere, l'occupazione, la posizione. Quindi il set di allenamento sarebbe qualcosa del tipo: Età Genere Occupazione Luogo Mi piace (1) / Non mi piace (0) 23 M Software US …

13 machine-learning feature-construction

2

Esiste un pacchetto R per risposte binarie longitudinali a tempo continuo?

Il bildpacchetto sembra essere un pacchetto eccellente per le risposte binarie seriali. Ma è per tempo discreto. Vorrei specificare una funzione regolare del tempo per la connessione del rapporto di probabilità della risposta corrente Y con risposte binarie misurate in tempi precedenti, o almeno una versione Markov del primo ordine …

13 r repeated-measures binary-data panel-data

2

Solutori numerici per equazioni differenziali stocastiche in R: ce ne sono?

Sto cercando un pacchetto R generale, pulito e veloce (ovvero usando routine C ++) per simulare percorsi da una diffusione non lineare non omogenea come (1) usando lo schema Euler-Maruyama, lo schema Milstein (o qualsiasi altro). Questo è destinato ad essere incorporato in un codice di stima più ampio e …

13 r simulation stochastic-processes markov-process

1

La centratura è necessaria quando si avvia il bootstrap del campione?

Durante la lettura di come approssimare la distribuzione del campione medio mi sono imbattuto nel metodo bootstrap non parametrico. Apparentemente si può approssimare la distribuzione di mediante la distribuzione di , dove indica la media campionaria di l'esempio bootstrap.X¯n−μX¯n−μ\bar{X}_n-\muX¯∗n−X¯nX¯n∗−X¯n\bar{X}_n^*-\bar{X}_nX¯∗nX¯n∗\bar{X}_n^* La mia domanda allora è: ho bisogno del centraggio? Per che …

13 distributions bootstrap resampling centering