Statistiche e Big Data

1

Lo scopo del documento era ottimizzare alcuni parametri massimizzando la probabilità di log regolarizzata. Quindi calcolano i derivati parziali. E poi gli autori menzionano che ottimizzano l'equazione usando L-BFGS, una procedura quasi-Newton standard per ottimizzare le funzioni regolari di molte variabili (niente più dettagli). Come funziona ?

14 algorithms optimization

4

Comprensione intuitiva della differenza tra coerente e asintoticamente imparziale

Sto cercando di ottenere una comprensione intuitiva e sentire la differenza e la differenza pratica tra il termine coerente e asintoticamente imparziale. Conosco le loro definizioni matematiche / statistiche, ma sto cercando qualcosa di intuitivo. Per me, guardando le loro definizioni individuali, sembrano quasi essere la stessa cosa. Mi rendo …

14 bias convergence unbiased-estimator asymptotics intuition

2

Qual è la distribuzione dei mezzi di campionamento di una distribuzione di Cauchy?

In genere quando si prendono medie campionarie casuali di una distribuzione (con dimensioni del campione superiori a 30) si ottiene una normale distribuzione centrata attorno al valore medio. Tuttavia, ho sentito che la distribuzione di Cauchy non ha valore medio. Quale distribuzione si ottiene allora quando si ottengono mezzi di …

14 cauchy

1

Interpretazione dell'output .L e .Q da un GLM binomiale negativo con dati categorici

Ho appena eseguito un GLM binomiale negativo e questo è l'output: Call: glm.nb(formula = small ~ method + site + depth, data = size.dat, init.theta = 1.080668549, link = log) Deviance Residuals: Min 1Q Median 3Q Max -2.2452 -0.9973 -0.3028 0.3864 1.8727 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) …

14 r categorical-data generalized-linear-model interpretation negative-binomial

3

Perché i rapporti di probabilità della formula e del criterio fisher.test di R differiscono? Quale si dovrebbe scegliere?

Nel seguente esempio > m = matrix(c(3, 6, 5, 6), nrow=2) > m [,1] [,2] [1,] 3 5 [2,] 6 6 > (OR = (3/6)/(5/6)) #1 [1] 0.6 > fisher.test(m) #2 Fisher's Exact Test for Count Data data: m p-value = 0.6699 alternative hypothesis: true odds ratio is not equal …

14 r odds-ratio fishers-exact

1

Una regressione logistica che massimizza la probabilità necessariamente anche massimizza l'AUC rispetto ai modelli lineari?

Dato un set di dati con risultati binari e una matrice predittiva , il modello di regressione logistica standard stima i coefficienti che massimizzano la probabilità binomiale. Quando X è al livello completo \ beta_ {MLE} è unico; quando la separazione perfetta non è presente, è finita.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Questo modello …

13 logistic maximum-likelihood auc

1

Cadere valori anomali basati su "2,5 volte il RMSE"

In Kahneman and Deaton (2010) † , gli autori scrivono quanto segue:††^\dagger Questa regressione spiega il 37% della varianza, con un errore quadratico medio radice (RMSE) di 0,67852. Per eliminare i valori anomali e i rapporti sul reddito non plausibili, abbiamo eliminato le osservazioni in cui il valore assoluto della …

13 regression outliers

3

Esistono documenti molto citati sulle statistiche che hanno effettivamente diffuso cattive pratiche statistiche?

Esistono ovviamente molti modi per abusare dei metodi statistici. Sei a conoscenza di esempi di cattive pratiche statistiche che sono state pubblicate per la prima volta come consigli espliciti (ad esempio "dovresti usare questo metodo per ..."), in rinomate riviste accademiche che poi sono state più volte citate? Un esempio …

13 references statistical-falsehoods

3

Utilizzando la lunghezza media e il peso medio per calcolare l'IMC medio?

È valido utilizzare la lunghezza media ( hhh ) e il peso medio ( www )) di una determinata popolazione per calcolare l'indice di massa corporea media ( BMI=wh2BMI=wh2BMI = \frac{w}{h^2} ) per quella popolazione?

13 mean sample population

5

Domanda filosofica sulla regressione logistica: perché non viene allenato il valore soglia ottimale?

Di solito nella regressione logistica, adattiamo un modello e otteniamo alcune previsioni sul set di addestramento. Quindi convalidiamo in modo incrociato quelle previsioni di allenamento (qualcosa come qui ) e decidiamo il valore di soglia ottimale in base a qualcosa come la curva ROC. Perché non incorporiamo la validazione incrociata …

13 logistic cross-validation optimization roc threshold

2

La soglia di decisione è un iperparametro nella regressione logistica?

Le classi previste dalla regressione logistica (binaria) sono determinate usando una soglia sulle probabilità di appartenenza alla classe generate dal modello. A quanto ho capito, in genere 0,5 viene utilizzato per impostazione predefinita. Ma variando la soglia cambieranno le classificazioni previste. Questo significa che la soglia è un iperparametro? In …

13 machine-learning logistic scikit-learn hyperparameter

1

Perché MLE ha senso, dato che la probabilità di un singolo campione è 0?

È una specie di strano pensiero che ho avuto durante la revisione di alcune vecchie statistiche e per qualche motivo non riesco a pensare alla risposta. Un PDF continuo ci dice la densità di osservare i valori in un dato intervallo. Vale a dire, se X∼N(μ,σ2)X∼N(μ,σ2)X \sim N(\mu,\sigma^2) , per …

13 normal-distribution maximum-likelihood pdf

4

Qual è il punto della regressione univariata prima della regressione multivariata?

Attualmente sto lavorando a un problema in cui abbiamo un piccolo set di dati e siamo interessati all'effetto causalità di un trattamento sul risultato. Il mio consulente mi ha incaricato di eseguire una regressione univariata su ciascun predittore con il risultato come risposta, quindi l'assegnazione del trattamento come risposta. Cioè, …

13 regression multivariate-analysis model-selection causality univariate

2

Una regressione è causale se non ci sono variabili omesse?

Una regressione di yyy su xxx non deve essere causale se ci sono variabili omesse che influenzano sia xxx che yyy . Ma se non per le variabili omesse e l'errore di misurazione, una regressione è causale? Cioè, se ogni possibile variabile è inclusa nella regressione?

13 regression bias causality

8

Come trattare le risposte al sondaggio illogiche

Ho inviato un sondaggio a un campione di artisti. Una delle domande era di indicare la percentuale di reddito derivante da: attività artistica, sostegno del governo, pensione privata, attività non legate all'arte. Circa il 65% degli individui ha risposto in modo tale che la somma della percentuale sia 100. Gli …

13 survey bias