Statistiche e Big Data

2

Prove correlate di Bernoulli, distribuzione multivariata di Bernoulli?

Sto semplificando una domanda di ricerca che ho al lavoro. Immagina di avere 5 monete e di chiamare le teste un successo. Queste sono monete MOLTO distorte con probabilità di successo p = 0.1. Ora, se le monete fossero indipendenti, ottenendo quindi la probabilità di almeno 1 o più testa …

14 multivariate-analysis bernoulli-distribution copula

1

La differenza tra con o senza modello di intercettazione nella regressione logistica

Mi piace capire la differenza tra il modello di intercettazione con o senza nella regressione logistica C'è qualche differenza tra loro, tranne per il fatto che con l'intercettazione i coefficienti riguardano il log (odds ratio) relativo al gruppo di base e senza l'intercettazione riguardano il log (odds)? da quello che …

14 regression logistic interpretation model intercept

2

Modo corretto di Scikit per calibrare i classificatori con CalibratedClassifierCV

Scikit ha CalibratedClassifierCV , che ci consente di calibrare i nostri modelli su una particolare coppia X, y. Lo afferma anche chiaramentedata for fitting the classifier and for calibrating it must be disjoint. Se devono essere disgiunti, è legittimo addestrare il classificatore con quanto segue? model = CalibratedClassifierCV(my_classifier) model.fit(X_train, y_train) …

14 cross-validation scikit-learn validation train calibration

3

Regressione lineare cosa ci dicono la statistica F, il quadrato R e l'errore standard residuo?

Sono davvero confuso sulla differenza di significato per quanto riguarda il contesto di regressione lineare dei seguenti termini: Statistica F. R al quadrato Errore standard residuo Ho trovato questa webstie che mi ha dato una grande visione dei diversi termini coinvolti nella regressione lineare, tuttavia i termini sopra menzionati sembrano …

14 linear-model nonlinear-regression linear f-statistic

1

Intervallo di previsione per variabile casuale binomiale

Qual è la formula (approssimativa o esatta) per un intervallo di previsione per una variabile casuale binomiale? Supponiamo Y∼Binom(n,p)Y∼Binom(n,p)Y \sim \mathsf{Binom}(n, p) e osserviamo yyy (tratto da YYY ). La nnn è nota. Il nostro obiettivo è quello di ottenere un intervallo di previsione al 95% per un nuovo pareggio …

14 confidence-interval binomial prediction-interval

3

Perché (/) il campionamento statistico dovrebbe funzionare in politica (ad es. Gallup)?

I sondaggi là fuori (diciamo, Gallup) campionano un numero assurdamente basso di persone rispetto alle dimensioni della popolazione (ad esempio forse un migliaio di persone su centinaia di milioni). Ora, per me, campionare una popolazione come mezzo per stimare le statistiche della popolazione ha senso quando hai una forte ragione …

14 sampling sample-size

2

Qual è la formula per il valore p corretto di Benjamini-Hochberg?

Capisco la procedura e ciò che controlla. Quindi qual è la formula per il valore p corretto nella procedura BH per confronti multipli? Proprio ora ho capito che il BH originale non produceva valori p regolati, ma solo le condizioni di (non) rifiuto: https://www.jstor.org/stable/2346101 . Gordon Smyth ha introdotto comunque …

14 hypothesis-testing p-value multiple-comparisons false-discovery-rate

2

significato (x) operatore?

Ho visto il operator in tutto il mondo in qualche revisione della letteratura che sto facendo sulla causalità (vedi, per esempio, questa voce wikipedia ). Tuttavia, non riesco a trovare una definizione formale e generale di questo operatore.do(x)do(x)do(x) Qualcuno può indicarmi un buon riferimento su questo? Sono interessato a una …

14 references causality definition

1

Test di Kolmogorov – Smirnov vs. test t

Sto incontrando qualche difficoltà a comprendere l'interpretazione del test KS a 2 campioni e come sia diverso da un test t regolare tra 2 gruppi. Diciamo che ho maschi e femmine che svolgono un compito e raccolgo alcuni punteggi da quel compito. Il mio obiettivo finale è determinare se maschi …

14 distributions t-test interpretation kolmogorov-smirnov

4

Intervalli di previsione per algoritmi di apprendimento automatico

Voglio sapere se il processo descritto di seguito è valido / accettabile e qualsiasi giustificazione disponibile. L'idea: gli algoritmi di apprendimento supervisionato non assumono strutture / distribuzioni sottostanti sui dati. Alla fine della giornata forniscono stime dei punti. Spero in qualche modo di quantificare l'incertezza delle stime. Ora, il processo …

14 machine-learning confidence-interval bootstrap supervised-learning gbm

3

Come modellare i big data longitudinali?

Tradizionalmente usiamo il modello misto per modellare i dati longitudinali, cioè dati come: id obs age treatment_lvl yield 1 0 11 M 0.2 1 1 11.5 M 0.5 1 2 12 L 0.6 2 0 17 H 1.2 2 1 18 M 0.9 possiamo supporre intercettazione o pendenza casuali per …

14 machine-learning data-transformation random-forest panel-data large-data

4

Perché esiste sempre almeno una politica migliore o uguale a tutte le altre politiche?

Apprendimento per rinforzo: un'introduzione. Seconda edizione, in corso ., Richard S. Sutton e Andrew G. Barto (c) 2012, pp. 67-68. Risolvere un compito di apprendimento di rinforzo significa, approssimativamente, trovare una politica che ottenga molti premi nel lungo periodo. Per gli MDP finiti, possiamo definire con precisione una politica ottimale …

14 markov-process reinforcement-learning

1

Librerie Python di modello additivo generalizzato

So che R ha librerie gam e mgcv per modelli di additivi generalizzati. Ma ho difficoltà a trovare le loro controparti nell'ecosistema Python (statsmodels ha solo un prototipo nella sandbox). Qualcuno è a conoscenza delle librerie di Python esistenti? Chissà che questo potrebbe essere un buon progetto per sviluppare / …

14 gam

3

Come trovare i coefficienti di regressione nella regressione della cresta?

Nella regressione della cresta, la funzione obiettivo da minimizzare è:RSS+λ∑β2j.RSS+λ∑βj2.\text{RSS}+\lambda \sum\beta_j^2. Questo può essere ottimizzato usando il metodo del moltiplicatore di Lagrange? O è una differenziazione diretta?

14 regression regularization ridge-regression

1

GAM vs LOESS vs spline

Contesto : Voglio tracciare una linea in un grafico a dispersione che non appare parametrico, quindi sto usando geom_smooth()in ggplota R. Restituisce automaticamente geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning