Significato preciso e confronto tra punto influente, punto di leva elevato e valore anomalo?

Da Wikipedia

Le osservazioni influenti sono quelle osservazioni che hanno un effetto relativamente grande sulle previsioni del modello di regressione.

Da Wikipedia

I punti di leva sono quelle eventuali osservazioni fatte a valori estremi o periferici delle variabili indipendenti in modo tale che la mancanza di osservazioni vicine significhi che il modello di regressione adattato passerà vicino a quella particolare osservazione.

Perché è il seguente confronto da Wikipedia

Sebbene un punto influente abbia in genere una leva elevata , un punto leva elevato non è necessariamente un punto influente .

Immagina qualsiasi linea di regressione adattata ad alcuni dati.

Immagina ora un punto dati aggiuntivo, un valore anomalo a una certa distanza dal corpo principale dei dati, ma che si trova da qualche parte lungo quella linea di regressione.

Se la linea di regressione dovesse essere ripristinata, i coefficienti non cambierebbero. Al contrario, l'eliminazione del valore anomalo extra avrebbe un'influenza zero sui coefficienti.

Pertanto, un punto anomalo o leva avrebbe un'influenza zero se fosse perfettamente coerente con il resto dei dati e il modello che il resto implica.

Per "linea" leggi "piano" o "iperpiano" se lo desideri, ma qui è sufficiente l'esempio più semplice di due variabili e un diagramma a dispersione.

Tuttavia, poiché ti piacciono le definizioni - spesso, a quanto pare, tende a leggere troppo in esse - ecco la mia definizione preferita di valori anomali:

"I valori anomali sono valori di esempio che causano sorpresa rispetto alla maggior parte del campione" (WN Venables e BD Ripley. 2002. Statistiche applicate moderne con S. New York: Springer, p.119).

Fondamentalmente, la sorpresa è nella mente di chi guarda e dipende da un modello tacito o esplicito dei dati. Potrebbe esserci un altro modello in base al quale il valore anomalo non è affatto sorprendente, ad esempio se i dati sono davvero lognormali o gamma piuttosto che normali.

PS Non credo che i punti di leva manchino necessariamente di osservazioni vicine. Ad esempio, possono verificarsi in coppia.

È facile illustrare come un punto di leva elevato potrebbe non essere influente nel caso di un modello lineare semplice:

La linea blu è una linea di regressione basata su tutti i dati, la linea rossa ignora il punto in alto a destra del grafico.

Questo punto si adatta alla definizione di un elevato punto di leva che hai appena fornito in quanto è lontano dal resto dei dati. Per questo motivo, la linea di regressione (quella blu) deve passare vicino ad essa. Ma poiché la sua posizione si adatta in gran parte al modello osservato nel resto dei dati, l'altro modello lo predirebbe molto bene (cioè la linea rossa già gli passa vicino in ogni caso) e quindi non è particolarmente influente.

Confronta questo con il seguente diagramma a dispersione:

Qui, il punto a destra della trama è ancora un punto di leva elevato ma questa volta non si adatta davvero al modello osservato nel resto dei dati. La linea blu (adattamento lineare basato su tutti i dati) passa molto vicino ma la linea rossa no. Includere o escludere questo punto modifica notevolmente le stime dei parametri: ha molta influenza.

Nota che le definizioni che hai citato e gli esempi che ho appena dato potrebbero sembrare che i punti di leva / influenza elevati siano, in un certo senso, "outlier" univariati e che la linea di regressione adattata passerà vicino ai punti con la massima influenza, ma è necessario non essere il caso.

In questo ultimo esempio, l'osservazione in basso a destra ha un effetto (relativamente) grande sull'adattamento del modello (visibile di nuovo attraverso la differenza tra le linee rossa e blu) ma sembra comunque essere molto lontano dalla linea di regressione pur non essendo rilevabile nelle distribuzioni univariate (rappresentate qui dai "tappeti" lungo gli assi).