Calcola un intervallo di confidenza dai dati di esempio

Ho dei dati di esempio per i quali vorrei calcolare un intervallo di confidenza, assumendo una distribuzione normale.

Ho trovato e installato i pacchetti numpy e scipy e ho ottenuto numpy per restituire una media e una deviazione standard (numpy.mean (dati) con i dati come elenco). Qualche consiglio su come ottenere un intervallo di confidenza campione sarebbe molto apprezzato.

import numpy as np
import scipy.stats


def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    m, se = np.mean(a), scipy.stats.sem(a)
    h = se * scipy.stats.t.ppf((1 + confidence) / 2., n-1)
    return m, m-h, m+h

puoi calcolare in questo modo.

Ecco una versione abbreviata del codice di shasan, calcolando l'intervallo di confidenza del 95% della media dell'array a:

import numpy as np, scipy.stats as st

st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))

Ma usare StatsModels tconfint_meanè probabilmente ancora più bello:

import statsmodels.stats.api as sms

sms.DescrStatsW(a).tconfint_mean()

Le ipotesi sottostanti per entrambi sono che il campione (array a) sia stato disegnato indipendentemente da una distribuzione normale con deviazione standard sconosciuta (vedere MathWorld o Wikipedia ).

Per campioni di grandi dimensioni n, la media campionaria è normalmente distribuita e si può calcolare il suo intervallo di confidenza usando st.norm.interval()(come suggerito nel commento di Jaime). Ma le soluzioni di cui sopra sono corrette anche per n piccolo, dove st.norm.interval()fornisce intervalli di confidenza troppo stretti (cioè, "fiducia falsa"). Vedi la mia risposta a una domanda simile per maggiori dettagli (e uno dei commenti di Russ qui).

Ecco un esempio in cui le opzioni corrette danno intervalli di confidenza (essenzialmente) identici:

In [9]: a = range(10,14)

In [10]: mean_confidence_interval(a)
Out[10]: (11.5, 9.4457397432391215, 13.554260256760879)

In [11]: st.t.interval(0.95, len(a)-1, loc=np.mean(a), scale=st.sem(a))
Out[11]: (9.4457397432391215, 13.554260256760879)

In [12]: sms.DescrStatsW(a).tconfint_mean()
Out[12]: (9.4457397432391197, 13.55426025676088)

E infine, il risultato errato utilizzando st.norm.interval():

In [13]: st.norm.interval(0.95, loc=np.mean(a), scale=st.sem(a))
Out[13]: (10.23484868811834, 12.76515131188166)

Inizia cercando il valore z per l'intervallo di confidenza desiderato da una tabella di ricerca . L'intervallo di confidenza è quindi mean +/- z*sigma, dove sigmaè la deviazione standard stimata della media campionaria, data da sigma = s / sqrt(n), dove sè la deviazione standard calcolata dai dati del campione ed nè la dimensione del campione.

Iniziando Python 3.8, la libreria standard fornisce l' NormalDistoggetto come parte del statisticsmodulo:

from statistics import NormalDist

def confidence_interval(data, confidence=0.95):
  dist = NormalDist.from_samples(data)
  z = NormalDist().inv_cdf((1 + confidence) / 2.)
  h = dist.stdev * z / ((len(data) - 1) ** .5)
  return dist.mean - h, dist.mean + h

Questo:

• Crea un NormalDistoggetto dal campione di dati ( NormalDist.from_samples(data), che ci dà accesso alla media e alla deviazione standard del campione tramite NormalDist.meane NormalDist.stdev.

• Calcola in Z-scorebase alla distribuzione normale standard (rappresentata da NormalDist()) per la confidenza data utilizzando l'inversa della funzione di distribuzione cumulativa ( inv_cdf).

• Produce l'intervallo di confidenza in base alla deviazione standard e alla media del campione.

Ciò presuppone che la dimensione del campione sia abbastanza grande (diciamo più di ~ 100 punti) per poter utilizzare la distribuzione normale standard piuttosto che la distribuzione t di Student per calcolare il zvalore.