Statistiche e Big Data

Il mio collega vuole analizzare alcuni dati dopo aver trasformato la variabile di risposta elevandola alla potenza di (ovvero ).1818\frac18y0.125y0.125y^{0.125} Non mi sento a mio agio con questo, ma faccio fatica a capire perché. Non riesco a pensare a nessuna logica meccanicistica per questa trasformazione. Né l'ho mai visto prima, …

12 regression  data-transformation  aic 

Chiuso . Questa domanda è basata sull'opinione . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che possa essere risolta con fatti e citazioni modificando questo post . Chiuso 2 anni fa . Sono attualmente in una classe di regressione lineare, ma non riesco …

12 regression  machine-learning  linear  teaching 

Se inseriamo un GAM come: gam.fit = gam::gam(Outstate ~ Private + s(Room.Board, df = 2) + s(PhD, df = 2) + s(perc.alumni, df = 2) + s(Expend, df = 5) + s(Grad.Rate, df = 2), data = College) Dove, usiamo il set di dati College, che può essere trovato all'interno …

12 anova  gam 

Come funziona davvero la stima dei parametri / Formazione della regressione logistica? Proverò a mettere quello che ho finora. L'output è y l'output della funzione logistica in forma di probabilità a seconda del valore di x: P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)=11+e−ωTx≡σ(ωTx)P(y=1|x)={1\over1+e^{-\omega^Tx}}\equiv\sigma(\omega^Tx) P(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1−P(y=1|x)=1−11+e−ωTxP(y=0|x)=1-P(y=1|x)=1-{1\over1+e^{-\omega^Tx}} Per una dimensione le cosiddette quote sono definite come segue: p(y=1|x)1−p(y=1|x)=p(y=1|x)p(y=0|x)=eω0+ω1xp(y=1|x)1−p(y=1|x)=p(y=1|x)p(y=0|x)=eω0+ω1x{{p(y=1|x)}\over{1-p(y=1|x)}}={{p(y=1|x)}\over{p(y=0|x)}}=e^{\omega_0+\omega_1x} Ora …

12 regression  logistic  likelihood 

Come costruire un esempio di distribuzione di probabilità per la quale vale, assumendo ?E(1X)=1E(X)E(1X)=1E(X)\mathbb{E}\left(\frac{1}{X}\right)=\frac{1}{\mathbb{E}(X)}P(X≠0)=1P(X≠0)=1\mathbb{P}(X\ne0)=1 La disuguaglianza che deriva dalla disuguaglianza di Jensen per un RV valutato positivamente è come (la disuguaglianza inversa se ). Questo perché il mapping è convesso per e concavo per . Seguendo la condizione di uguaglianza …

12 probability  distributions  random-variable  expected-value 

Sto leggendo la costruzione di modelli multivariabili: un approccio pragmatico all'analisi della regressione basata su polinomi frazionari per la modellazione di variabili continue di Patrick Royston e Willie Sauerbrei. Finora sono rimasto impressionato ed è un approccio interessante che non avevo mai considerato prima. Ma gli autori non si occupano …

12 regression  missing-data  fractional-polynomial 

EDIT: sono più interessato alle questioni tecniche e alla metodologia per determinare la probabilità di un massimo "vero" in una data popolazione dato un campione statistico. Ci sono problemi con la stima della probabilità di corridori più veloci rispetto a Mr. Bolt da tempi di accelerazione da record che sono …

12 normal-distribution  maximum 

Ho un diagramma a dispersione che ha una dimensione del campione pari al numero di persone sull'asse xe il salario mediano sull'asse y, sto cercando di scoprire se la dimensione del campione ha qualche effetto sul salario mediano. Questa è la trama: Come interpreto questa trama?

12 data-visualization  median  scatterplot  pandas 

La funzione oggettiva dell'analisi dei componenti principali (PCA) è ridurre al minimo l'errore di ricostruzione nella norma L2 (vedere la sezione 2.12 qui . Un'altra visione sta cercando di massimizzare la varianza sulla proiezione. Abbiamo anche un post eccellente qui: qual è la funzione oggettiva della PCA ? ). La …

12 machine-learning  pca  optimization  convex 

È sbagliato che le spline siano disponibili solo nei modelli GAM e non nei modelli GLM? Ho sentito questo un po 'di tempo fa e mi chiedo se questo è solo un malinteso, o ha qualche verità. Ecco un'illustrazione:

12 generalized-linear-model  splines 

Nel libro di Gelman & Hill (2007) (Data Analysis Using Regression e Multilevel / Hierarchical Models), gli autori affermano che l'inclusione di parametri medi ridondanti può aiutare ad accelerare MCMC. L'esempio dato è un modello non nidificato di "simulatore di volo" (Eq 13.9): yioγjδK∼ N( μ + γj [ i …

12 mcmc  hierarchical-bayesian  gibbs 

Le competizioni Kaggle determinano le classifiche finali in base a un set di prove disputato. Un set di test tenuto fuori è un campione; potrebbe non essere rappresentativo della popolazione modellata. Dato che ogni invio è come un'ipotesi, l'algoritmo che ha vinto la competizione potrebbe, per caso, aver finito per …

12 machine-learning  probability  hypothesis-testing  sample  kaggle 

Esistono diversi post su come selezionare le funzionalità. Uno dei metodi descrive l'importanza delle funzionalità in base alle statistiche t. In R varImp(model)applicato su modello lineare con caratteristiche standardizzate viene utilizzato il valore assoluto della statistica t per ciascun parametro del modello. Quindi, fondamentalmente scegliamo una funzione in base alle …

12 regression  p-value  feature-selection 

Ho una traiettoria di un oggetto in uno spazio 2D (una superficie). La traiettoria è data come una sequenza di (x,y)coordinate. So che le mie misurazioni sono rumorose e a volte ho ovvi valori anomali. Quindi, voglio filtrare le mie osservazioni. Per quanto ho capito filtro Kalman, fa esattamente quello …

12 python  kalman-filter  smoothing 

Qual è il modo migliore per spiegare perché non è una buona misura, diciamo, rispetto alla F1?Precisione + RichiamoPrecisione+Richiamare\text{Precision} + \text{Recall}

12 precision-recall