Statistiche e Big Data bias

3

Pregiudizio di regressione logistica di eventi rari: come simulare le p sottostimate con un esempio minimo?

CrossValidated ha diverse domande su quando e come applicare la rara correzione del bias di eventi di King e Zeng (2001) . Sto cercando qualcosa di diverso: una dimostrazione minima basata sulla simulazione dell'esistenza del pregiudizio. In particolare, il re e lo stato di Zeng "... in dati di eventi …

19 r logistic simulation bias rare-events

1

Quando è stata la parola “polarizzazione” coniato per significare

Quando è stata coniata la parola "bias" per significare ?E [ θ^- θ ]E[θ^-θ]\mathbb{E}[\hat{\theta}-\theta] Il motivo per cui sto pensando a questo in questo momento è perché mi sembra di ricordare Jaynes, nel suo testo della teoria della probabilità , che criticava l'uso della parola "bias" usata per descrivere questa …

18 terminology bias history

7

Dati distorti nell'apprendimento automatico

Sto lavorando a un progetto di Machine Learning con dati che sono già (fortemente) distorti dalla selezione dei dati. Supponiamo che tu abbia una serie di regole codificate. Come si crea un modello di apprendimento automatico per sostituirlo, quando tutti i dati che può utilizzare sono dati già filtrati da …

18 machine-learning classification data-mining bias extrapolation

2

Esiste una rappresentazione grafica del compromesso di bias varianza nella regressione lineare?

Sto soffrendo di un blackout. Mi è stata presentata la seguente immagine per mostrare il compromesso della variazione di bias nel contesto della regressione lineare: Vedo che nessuno dei due modelli è adatto: il "semplice" non sta apprezzando la complessità della relazione XY e il "complesso" si sta semplicemente adattando, …

18 regression variance bias

6

C'è un esempio in cui MLE produce una stima distorta della media?

Potete fornire un esempio di uno stimatore MLE della media distorta? Non sto cercando un esempio che rompe gli stimatori MLE in generale violando le condizioni di regolarità. Tutti gli esempi che posso vedere su Internet si riferiscono alla varianza e non riesco a trovare nulla di correlato alla media. …

17 maximum-likelihood mean bias

1

Distorsione da variabile omessa nella regressione logistica vs. distorsione da variabile omessa nella regressione dei minimi quadrati ordinaria

Ho una domanda sull'omessa distorsione da variabile nella regressione logistica e lineare. Supponiamo di omettere alcune variabili da un modello di regressione lineare. Fai finta che quelle variabili omesse non siano correlate con le variabili che ho incluso nel mio modello. Quelle variabili omesse non influenzano i coefficienti nel mio …

17 regression logistic least-squares bias

2

Domanda sul compromesso della varianza

Sto cercando di capire il compromesso di bias-varianza, la relazione tra il bias dello stimatore e il bias del modello e la relazione tra la varianza dello stimatore e la varianza del modello. Sono giunto a queste conclusioni: Tendiamo a sovrautilizzare i dati quando trascuriamo il bias dello stimatore, cioè …

15 regression variance bias bias-variance-tradeoff

1

Ridurre al minimo i pregiudizi nella modellazione esplicativa, perché? ("Spiegare o predire" di Galit Shmueli)

Questa domanda fa riferimento al documento di Galit Shmueli "Spiegare o predire" . Nello specifico, nella sezione 1.5, "Spiegazione e previsione sono diverse", il professor Shmueli scrive: Nella modellistica esplicativa l'attenzione si concentra sulla minimizzazione della distorsione per ottenere la rappresentazione più accurata della teoria sottostante. Questo mi ha lasciato …

15 predictive-models inference bias unbiased-estimator explanatory-models

4

Perché un albero decisionale ha una propensione bassa e una varianza elevata?

Domande Dipende se l'albero è poco profondo o profondo? O possiamo dire questo indipendentemente dalla profondità / livelli dell'albero? Perché il bias è basso e la varianza è alta? Spiega in modo intuitivo e matematico

15 machine-learning variance covariance cart bias

3

Dobbiamo davvero includere "tutti i predittori rilevanti?"

Un presupposto di base dell'uso dei modelli di regressione per deduzione è che "tutti i predittori rilevanti" sono stati inclusi nell'equazione di predizione. La logica è che la mancata inclusione di un importante fattore del mondo reale porta a coefficienti distorti e quindi a inferenze imprecise (ovvero omissione di distorsioni …

15 regression assumptions bias predictor confounding

2

Elevata varianza della convalida incrociata con esclusione

Ho letto più volte che la convalida incrociata "Leave-one-out" ha una varianza elevata a causa della grande sovrapposizione delle pieghe di allenamento. Tuttavia, non capisco perché: le prestazioni della convalida incrociata non dovrebbero essere molto stabili (bassa varianza) proprio perché i set di addestramento sono quasi identici? O sto avendo …

15 variance cross-validation bias

1

Problema con parametri accidentali

Faccio sempre fatica a ottenere la vera essenza del problema dei parametri accidentali. Ho letto in diverse occasioni che gli stimatori di effetti fissi di modelli di dati di pannelli non lineari possono essere fortemente distorti a causa del problema dei parametri accidentali "ben noto". Quando chiedo una chiara spiegazione …

15 nonlinear-regression fixed-effects-model bias

2

Per quali modelli la distorsione dell'MLE diminuisce più velocemente della varianza?

Lasciate θ una stima di massima verosimiglianza di un vero parametro θ * di qualche modello. Poiché il numero di punti di dati n aumenta, l'errore ‖ θ - θ * ‖ tipicamente diminuisce O ( 1 / √θ^\hat\thetaθ∗\theta^*nn∥θ^−θ∗∥\lVert\hat\theta-\theta^*\rVertn )O(1/n−−√)O(1/\sqrt n). Usando la disuguaglianza e le proprietà del triangolo aspettativa, …

14 variance estimation maximum-likelihood bias

4

Bias nella selezione della giuria?

Un amico rappresenta un cliente in appello, dopo un processo penale in cui sembra che la selezione della giuria fosse distorta dal punto di vista razziale. Il pool di giurie era composto da 30 persone, in 4 gruppi razziali. L'accusa ha utilizzato sfide perentorie per eliminare 10 di queste persone …

14 probability statistical-significance references bias combinatorics

2

La regressione graduale fornisce una stima parziale della r-square della popolazione?

In psicologia e in altri campi viene spesso impiegata una forma di regressione graduale che prevede quanto segue: Guarda i predittori rimanenti (all'inizio non ce ne sono nel modello) e identifica il predittore che determina la più grande variazione del quadrato r; Se il valore p della variazione del quadrato …

14 regression model-selection bias r-squared stepwise-regression

Domande taggate «bias»