Statistiche e Big Data

2

Rilevamento anomalo mediante regressione

La regressione può essere utilizzata per il rilevamento di lier out. Capisco che ci sono modi per migliorare un modello di regressione rimuovendo gli outlier. Ma l'obiettivo principale qui non è quello di adattarsi a un modello di regressione, ma scoprire le bugie usando la regressione

11 regression outliers

1

Pro della distanza Jeffries Matusita

Secondo alcuni articoli che sto leggendo, la distanza di Jeffries e Matusita è comunemente usata. Ma non sono riuscito a trovare molte informazioni su di esso ad eccezione della formula seguente JMD (x, y) =∑(xi−−√2−yi−−√2)2−−−−−−−−−−−−−√2∑(xi2−yi2)22\sqrt[2]{\sum(\sqrt[2]{x_i}-\sqrt[2]{y_i})^2} È simile alla distanza euclidea ad eccezione della radice quadrata E (x, y) =∑(xi−yi)2−−−−−−−−−−√2∑(xi−yi)22\sqrt[2]{\sum(x_i-y_i)^2} La …

11 classification k-nearest-neighbour euclidean

4

Come gestire i valori mancanti per preparare i dati per la selezione delle funzionalità con LASSO?

La mia situazione: campione di piccole dimensioni: 116 variabile di risultato binario lungo elenco di variabili esplicative: 44 le variabili esplicative non venivano dalla cima della mia testa; la loro scelta era basata sulla letteratura. la maggior parte dei casi nel campione e la maggior parte delle variabili hanno valori …

11 r spss lasso data-imputation

2

Funzioni di perdita percentuale

La soluzione al problema: minmE[|m−X|]minmE[|m−X|] \min_{m} \; E[|m-X|] è noto per essere la mediana di XXX , ma come appare la funzione di perdita per altri percentili? Esempio: il 25 ° percentile di X è la soluzione per: minmE[ L ( m , X) ]minmE[L(m,X)] \min_{m} \; E[ L(m,X) ] …

11 expected-value loss-functions

5

Algoritmo di Metropolis Hastings

Ho bisogno di studiare i metodi di Markov Chain Monte Carlo, per essere più specifico ho bisogno di studiare l'algoritmo Metropolis Hastings e tutto su di esso come criteri di convergenza. Chi può prescrivermi un libro, un giornale o un sito Web che spieghi questo argomento usando termini semplici, ma …

11 references mcmc

3

Come posso allenare una regressione (logistica?) In R usando la funzione di perdita L1?

Posso allenare una regressione logistica Rnell'uso glm(y ~ x, family=binomial(logit))) ma, IIUC, questo ottimizza per la probabilità di log. Esiste un modo per addestrare il modello utilizzando la funzione di perdita lineare ( ) (che in questo caso è uguale alla distanza di variazione totale )?L1L1L_1 Vale a dire, dato …

11 logistic

5

Intuizione sulla definizione della covarianza

Stavo cercando di capire meglio la covarianza di due variabili casuali e capire come la prima persona che ci pensava, arrivasse alla definizione che viene abitualmente utilizzata nelle statistiche. Sono andato su Wikipedia per capirlo meglio. Dall'articolo, sembra che la buona misura o quantità candidata per dovrebbe avere le seguenti …

11 correlation covariance

2

Regressione logistica: interpretazione delle variabili continue

Ho avuto un paio di domande sull'interpretazione dei rapporti di probabilità per variabili continue nella regressione logistica. Sento che queste sono domande di base sulla regressione logistica (e probabilmente sulla regressione in generale), e anche se mi vergogno leggermente di non conoscere le risposte, ingoierò il mio orgoglio e le …

11 regression logistic

3

Differenza tra ep-SVR e nu-SVR (e SVR minimi quadrati)

Sto cercando di scoprire quale SVR è adatto a quel tipo di dati. Conosco 4 tipi di SVR: epsilon nu minimi quadrati e lineare. Capisco che SVR lineare è più o meno come un lazo con L1 Reg, ma qual è la differenza tra le restanti 3 tecniche?

11 regression svm

1

Come possiamo prevedere eventi rari?

Sto lavorando allo sviluppo di un modello predittivo del rischio assicurativo. Questi modelli sono di "eventi rari" come la previsione del no-show delle compagnie aeree, il rilevamento di guasti hardware, ecc. Mentre preparavo il mio set di dati, ho cercato di applicare la classificazione, ma non sono riuscito a ottenere …

11 classification predictive-models scikit-learn poisson-process

1

Come scegliere la probabilità di taglio per un evento raro Regressione logistica

Ho 100.000 osservazioni (9 variabili indicatrici fittizie) con 1000 positivi. La regressione logistica dovrebbe funzionare bene in questo caso, ma la probabilità di taglio mi confonde. Nella letteratura comune, scegliamo il 50% di cutoff per prevedere 1 e 0 secondi. Non posso farlo poiché il mio modello fornisce un valore …

11 regression logistic classification generalized-linear-model roc

4

Introduzione alle statistiche non parametriche

Ho studiato statistiche negli ultimi due anni. Quasi tutto quello che ho imparato riguarda le statistiche parametriche. Ora vorrei saperne di più sulle statistiche non parametriche. Qualcuno può suggerire qualche introduzione concisa (forse anche leggibile) in quest'area?

11 self-study nonparametric references

3

Quale algoritmo dovrei usare per raggruppare un enorme set di dati binari in poche categorie?

Ho una grande matrice (650K righe * 62 colonne) di dati binari (solo voci 0-1). La matrice è prevalentemente sparsa: circa l'8% è riempito. Vorrei raggrupparlo in 5 gruppi - diciamo chiamato da 1 a 5. Ho provato il clustering gerarchico e non sono stato in grado di gestire le …

11 clustering dataset k-means binary-data

2

Metodo generale per derivare l'errore standard

Non riesco a trovare un metodo generale per derivare errori standard da nessuna parte. Ho cercato su Google, questo sito Web e persino nei libri di testo, ma tutto ciò che posso trovare è la formula per gli errori standard per media, varianza, proporzione, rapporto di rischio, ecc ... e …

11 standard-error

1

Intervalli di confidenza trasformati all'indietro

Dopo essermi imbattuto in questa discussione, sollevo la questione delle convenzioni sugli intervalli di confidenza trasformate a ritroso. Secondo questo articolo, la copertura nominale trasformata indietro CI per la media di una variabile casuale log-normale è: LCL(X)=exp(Y+var(Y) UCL ( X) = exp( Y+ var ( Y)2+ zvar ( Y)n+ var …

11 confidence-interval data-transformation back-transformation