Qualche proprietà quantitativa della popolazione è un "parametro"?

Conosco relativamente bene la distinzione tra termini statistici e parametro. Vedo una statistica come il valore ottenuto dall'applicazione di una funzione ai dati di esempio. Tuttavia, la maggior parte degli esempi di parametri si riferisce alla definizione di una distribuzione parametrica. Un esempio comune è la media e la deviazione standard per parametrizzare la distribuzione normale o i coefficienti e la varianza dell'errore per parametrizzare una regressione lineare.

Tuttavia, ci sono molti altri valori della distribuzione della popolazione che sono meno prototipici (ad esempio, minimo, massimo, r-quadrato in regressione multipla, il quantile 0,25, mediana, il numero di predittori con coefficienti diversi da zero, asimmetria, il numero di correlazioni in una matrice di correlazione maggiore di .3, ecc.).

Pertanto, le mie domande sono:

• Qualunque proprietà quantitativa di una popolazione dovrebbe essere etichettata come un "parametro"?
• Se sì, allora perché?
• In caso negativo, quali caratteristiche non devono essere etichettate come parametro? Cosa dovrebbero essere etichettati? E perché?

Elaborazione di confusione

L'articolo di Wikipedia sugli stimatori afferma:

Uno "stimatore" o "stima del punto" è una statistica (ovvero una funzione dei dati) che viene utilizzata per inferire il valore di un parametro sconosciuto in un modello statistico.

Ma posso definire il valore sconosciuto come .25 quantile e posso sviluppare uno stimatore per quello sconosciuto. Vale a dire, non tutte le proprietà quantitative di una popolazione sono parametri nello stesso modo in cui dicono che media e sd sono parametri di una distribuzione normale, tuttavia è legittimo cercare di stimare qualsiasi proprietà quantitativa della popolazione.

Questa domanda va al cuore di cosa siano le statistiche e come condurre una buona analisi statistica. Solleva molte questioni, alcune della terminologia e altre della teoria. Per chiarirli, iniziamo notando il contesto implicito della domanda e proseguiamo da lì per definire i termini chiave "parametro", "proprietà" e "stimatore". Alle varie parti della domanda viene data risposta durante la discussione. La sezione conclusiva finale sintetizza le idee chiave.

Spazi di stato

Un uso statistico comune della "distribuzione", come in "la distribuzione normale con PDF proporzionale a "è in realtà un (grave) abuso dell'inglese, perché ovviamente questa non è una distribuzione: è un'intera famiglia di distribuzioniparametrizzatadai simboliμeσ. Una notazione standard per questo è lo "spazio degli stati"Ω, uninsieme$\exp(-\frac{1}{2}(x-\mu)/\sigma)^2)dx$$\mu$$\sigma$$\Omega$di distribuzioni. (Sto semplificando un po 'qui per motivi di esposizione e continuerò a semplificare man mano che andremo avanti, pur rimanendo il più rigoroso possibile.) Il suo ruolo è di delineare i possibili obiettivi delle nostre procedure statistiche: quando stimiamo qualcosa, siamo selezionando uno (o talvolta più) elementi di .$\Omega$

A volte gli spazi degli stati sono esplicitamente parametrizzati, come in . In questa descrizione c'è una corrispondenza uno a uno tra l'insieme delle tuple { ( μ , σ $\Omega = \{\mathcal{N}(\mu, \sigma^2)|\mu \in \mathbb{R}, \sigma \gt 0\}$ nel mezzo piano superiore e l'insieme delle distribuzioni che useremo per modellare i nostri dati. Un valore di tale parametrizzazione è che ora possiamo riferirci concretamente alle distribuzioni in Ω per mezzo di una coppia ordinata di numeri reali.$\{(\mu,\sigma)\}$$\Omega$

In altri casi gli spazi degli stati non sono esplicitamente parametrizzati. Un esempio potrebbe essere l'insieme di tutte le distribuzioni continue unimodali. Di seguito, affronteremo la questione se in questi casi sia possibile trovare un'adeguata parametrizzazione.

parametrizzazioni

Generalmente, una parametrizzazione di è una corrispondenza ( funzione matematica ) da un sottoinsieme di R d (con d finito) a Ω . Cioè, utilizza insiemi ordinati di d -tuple per etichettare le distribuzioni. Ma non è solo una corrispondenza: deve essere "ben educato". Per capirlo, considera l'insieme di tutte le distribuzioni continue i cui PDF hanno aspettative limitate. Questo sarebbe ampiamente considerato "non parametrico", nel senso che qualsiasi tentativo "naturale" di parametrizzare questo insieme implicherebbe una sequenza numerabile di numeri reali (usando un'espansione in qualsiasi base ortogonale). Tuttavia, poiché questo set ha cardinalità $\Omega$$\mathbb{R}^d$$d$$\Omega$$d$ , che è la cardinalità dei reali, deve esistere una certa corrispondenza uno-a-uno tra queste distribuzioni e R . Paradossalmente, sembrerebbe rendere questo unospazio di statoparametrizzatocon unsingoloparametro reale!$\aleph_1$$\mathbb{R}$

Il paradosso si risolve osservando che un singolo numero reale non può godere di una "bella" relazione con le distribuzioni: quando cambiamo il valore di quel numero, la distribuzione a cui corrisponde deve in alcuni casi cambiare in modo radicale. Escludiamo tali parametrizzazioni "patologiche" richiedendo che le distribuzioni corrispondenti ai valori vicini dei loro parametri debbano essere "vicine" tra loro. Discutere le definizioni appropriate di "vicino" ci porterebbe troppo lontano, ma spero che questa descrizione sia sufficiente per dimostrare che c'è molto di più nell'essere un parametro oltre a nominare una particolare distribuzione.

Proprietà delle distribuzioni

Attraverso un'applicazione ripetuta, ci abituiamo a pensare a una "proprietà" di una distribuzione come a una quantità intelligibile che appare frequentemente nel nostro lavoro, come la sua aspettativa, la varianza e così via. Il problema con questa come possibile definizione di "proprietà" è che è troppo vago e non sufficientemente generale. (Questo è dove la matematica era a metà del 18 ° secolo, dove le "funzioni" erano pensate come processi finiti applicati agli oggetti.) Invece, l'unica definizione sensata di "proprietà" che funzionerà sempre è pensare a una proprietà come essendo un numero assegnato in modo univoco a ogni distribuzione in$\Omega$. Ciò include la media, la varianza, ogni momento, qualsiasi combinazione algebrica di momenti, qualsiasi quantile e molto altro, comprese le cose che non possono nemmeno essere calcolate. Tuttavia, non include cose che non avrebbero alcun senso per alcuni degli elementi di . Ad esempio, se Ω è costituito da tutte le distribuzioni di Student t, la media non è una proprietà valida per Ω (poiché t 1 non ha media). Questo ci impressiona ancora una volta da quanto dipendono le nostre idee da ciò che Ω è veramente composto.$\Omega$$\Omega$$\Omega$$t_1$$\Omega$

Le proprietà non sono sempre parametri

Una proprietà può essere una funzione così complicata da non fungere da parametro. Considera il caso della "distribuzione normale". Potremmo voler sapere se la media della vera distribuzione, quando arrotondata al numero intero più vicino, è pari. Questa è una proprietà. Ma non servirà come parametro.

I parametri non sono necessariamente proprietà

Quando i parametri e le distribuzioni sono in una corrispondenza uno-a-uno, ovviamente qualsiasi parametro e qualsiasi funzione dei parametri relativi a tale materia è una proprietà secondo la nostra definizione. Ma non è necessario che vi sia una corrispondenza uno a uno tra parametri e distribuzioni: a volte alcune distribuzioni devono essere descritte da due o più valori distintamente diversi dei parametri. Ad esempio, un parametro di posizione per i punti sulla sfera userebbe naturalmente latitudine e longitudine. Va bene, tranne che ai due poli, che corrispondono a una determinata latitudine e a qualsiasi longitudine valida. Il posizione(punto sulla sfera) è davvero una proprietà ma la sua longitudine non è necessariamente una proprietà. Sebbene ci siano varie schivate (dichiarare la longitudine di un polo come zero, per esempio), questo problema evidenzia l'importante differenza concettuale tra una proprietà (che è associata in modo univoco con una distribuzione) e un parametro (che è un modo di etichettare la distribuzione e potrebbe non essere unica).

Procedure statistiche

L'obiettivo di una stima è chiamato stimando . È semplicemente una proprietà. Lo statistico non è libero di selezionare lo stimando: questa è la provincia del suo cliente. Quando qualcuno viene da te con un campione di una popolazione e ti chiede di stimare il 99 ° percentile della popolazione, ti verrebbe probabilmente il rischio di fornire uno stimatore della media! Il tuo compito, come statistico, è identificare una buona procedura per stimare la stima che ti è stata data. (A volte il tuo compito è di convincere il tuo cliente che ha selezionato la stima sbagliata per i suoi obiettivi scientifici, ma questo è un problema diverso ...)

Per definizione, una procedura è un modo per ottenere un numero dai dati. Le procedure vengono generalmente fornite come formule da applicare ai dati, ad esempio "sommali tutti e dividi per il loro conteggio". Letteralmente qualsiasi procedura può essere definita uno "stimatore" di un dato stimatore. Ad esempio, potrei dichiarare che la media del campione (una formula applicata ai dati) stima la varianza della popolazione (una proprietà della popolazione, supponendo che il nostro cliente abbia limitato l'insieme delle possibili popolazioni per includere solo quelle che hanno effettivamente variazioni).$\Omega$

stimatori

Uno stimatore non deve avere alcuna connessione evidente con lo stimatore. Ad esempio, vedi qualche connessione tra la media del campione e una varianza della popolazione? Nemmeno io. Tuttavia, la media del campione è in realtà uno stimatore decente della varianza della popolazione per alcuni $\Omega$ (come l'insieme di tutte le distribuzioni di Poisson). Qui sta una chiave per comprendere gli stimatori: le loro qualità dipendono dall'insieme dei possibili stati . Ma questa è solo una parte.$\Omega$

Uno statistico competente vorrà sapere quanto bene eseguirà effettivamente la procedura che sta raccomandando. Chiamiamo la procedura " " e lasciamo che lo stimando sia θ . Non sapendo quale distribuzione sia effettivamente quella vera, contemplerà le prestazioni della procedura per ogni possibile distribuzione F ∈ Ω . Dato un tale F , e in ogni possibile esito s (cioè, un insieme di dati), che si confronta t ( s ) (quali le stime procedura) a θ ( F ) (il valore del estimand per $t$$\theta$ $F \in \Omega$$F$$s$$t(s)$$\theta(F)$$F$ ). È responsabilità del suo cliente dirle quanto sono vicini o lontani quei due. (Questo viene spesso fatto con una funzione di "perdita".) Può quindi contemplare l' aspettativa della distanza tra e θ ( F ) . Questo è il rischio della sua procedura. Poiché dipende da F , il rischio è una funzione definita su Ω .$t(s)$$\theta(F)$$F$$\Omega$

(Buoni) gli statistici raccomandano procedure basate sul confronto dei rischi. Ad esempio, supponiamo che per ogni , il rischio della procedura t 1 sia inferiore o uguale al rischio di t . Quindi non c'è motivo di usare t : è "inammissibile". Altrimenti è "ammissibile".$F \in \Omega$$t_1$$t$$t$

(Uno statistico "bayesiano" confronterà sempre i rischi facendo una media su una distribuzione "precedente" di possibili stati (di solito fornita dal cliente). Uno statistico "frequentista" potrebbe fare questo, se esiste un tale precedente giustificatamente, ma è anche disposto a confrontare i rischi in altri modi che i bayesiani evitano.)

conclusioni

Abbiamo il diritto di dire che ogni che è ammissibile per θ è uno stimatore di θ . $t$$\theta$$\theta$ Dobbiamo, ai fini pratici (perché le procedure ammissibili possono essere difficili da trovare), piegare questo a dire che qualsiasi che ha un rischio accettabilmente piccolo (se confrontato con θ ) tra le procedure praticabili è uno stimatore di θ . $t$$\theta$$\theta$ "Accettabilmente" e "praticabile" sono determinati dal cliente, ovviamente: "accettabilmente" si riferisce al loro rischio e "praticabile" riflette il costo (in definitiva pagato da loro) di attuazione della procedura.

Alla base di questa definizione concisa ci sono tutte le idee appena discusse: per capirlo dobbiamo tenere presente uno specifico (che è un modello del problema, processo o popolazione in studio), una stima definita (fornita dal cliente), un funzione di perdita specifica (che collega quantitativamente t al estimand ed è anche dato dal client), l'idea di rischio (calcolato dallo statistico), qualche procedura per confrontare funzioni di rischio (la responsabilità dello statistico di concerto con il cliente), e un senso di quali procedure possono essere effettivamente eseguite (la questione della "praticabilità"), anche se nessuna di queste è esplicitamente menzionata nella definizione.$\Omega$$t$

Come per molte domande sulle definizioni, le risposte devono tenere d'occhio sia i principi sottostanti sia i modi in cui i termini sono usati nella pratica, che spesso possono essere almeno un po 'allentati o incoerenti, anche da individui che sono ben informati, e altro ancora soprattutto, variabile da comunità a comunità.

Un principio comune è che una statistica è una proprietà di un campione e una costante nota, e un parametro è la proprietà corrispondente della popolazione e quindi una costante sconosciuta. La parola "corrispondente" deve essere intesa come abbastanza elastica qui. Per inciso, proprio questa distinzione e precisamente questa terminologia risalgono a meno di un secolo fa, essendo state introdotte da RA Fisher.

Ma

1. Un set-up di campioni e popolazione non caratterizza tutti i nostri problemi. Le serie storiche sono una delle principali classi di esempi in cui l'idea è piuttosto un processo di generazione sottostante, e qualcosa del genere è probabilmente l'idea più profonda e generale.

2. Esistono configurazioni in cui i parametri cambiano. Ancora una volta, l'analisi delle serie temporali fornisce esempi.

3. Al punto principale qui, in pratica non pensiamo a tutte le proprietà di una popolazione o processo come parametri. Se alcune procedure presuppongono un modello di una distribuzione normale, il minimo e il massimo non sono parametri. (In effetti, secondo il modello, il minimo e il massimo sono comunque numeri negativi e positivi arbitrariamente grandi, non che ciò dovrebbe preoccuparci.)

Direi che per una volta Wikipedia punta nella giusta direzione qui, e la pratica e il principio sono entrambi rispettati se diciamo che un parametro è quello che stiamo stimando .

Questo aiuta anche con altre domande che hanno causato perplessità. Ad esempio, se calcoliamo una media ridotta del 25%, cosa stiamo stimando? Una risposta ragionevole è la proprietà corrispondente della popolazione, che in effetti è definita dal metodo di stima. Una terminologia è che uno stimatore ha uno stimatore, qualunque cosa stia stimando. A partire da un'idea platonica di una proprietà "là fuori" (dire la modalità di una distribuzione) e pensare a come stimarlo è ragionevole, così come pensare a buone ricette per analizzare i dati e pensare attraverso ciò che implicano se considerato come inferenza.

Come spesso in matematica o scienze applicate, c'è un duplice aspetto di un parametro. Spesso lo pensiamo come qualcosa di reale là fuori che stiamo scoprendo, ma è anche vero che è qualcosa definito dal nostro modello di processo, in modo che non abbia alcun significato al di fuori del contesto del modello.

Due punti abbastanza diversi:

1. Molti scienziati usano la parola "parametro" nel modo in cui gli statistici usano la variabile. Ho un personaggio da scienziato oltre che statistico, e direi che è un peccato. Le variabili e le proprietà sono parole migliori.

2. È molto comune nell'uso inglese più ampio che si ritiene che il parametro significhi limiti o limiti, che possono derivare da una confusione originale tra "parametro" e "perimetro".

Una nota sul punto di vista della stima

La posizione classica è che identifichiamo un parametro in anticipo e quindi decidiamo come stimarlo, e questo rimane una pratica di maggioranza, ma invertire il processo non è assurdo e può essere utile per alcuni problemi. Io chiamo questo il punto di vista della stima. È stato in letteratura per almeno 50 anni. Tukey (1962, p.60) lo ha esortato

"Dobbiamo prestare ancora più attenzione a iniziare con uno stimatore e scoprire ciò che è uno stimatore ragionevole, a scoprire cosa è ragionevole pensare allo stimatore come stima".

Un punto di vista analogo è stato elaborato formalmente in notevole dettaglio e profondità da Bickel e Lehmann (1975) e informalmente con notevole lucidità da Mosteller e Tukey (1977, pp. 32-34).

Esiste anche una versione elementare. Usare (diciamo) la mediana del campione o la media geometrica per stimare il parametro della popolazione corrispondente ha senso indipendentemente dal fatto che la distribuzione sottostante sia simmetrica e lo stesso avviamento possa essere esteso a (ad esempio) mezzi tagliati del campione, che sono considerati stimatori delle loro controparti di popolazione .

Bickel, PJ e EL Lehmann. 1975. Statistiche descrittive per modelli non parametrici. II. Posizione . Annali delle statistiche 3: 1045-1069.

Mosteller, F. e JW Tukey. 1977. Analisi e regressione dei dati. Lettura, MA: Addison-Wesley.

Tukey, JW 1962. Il futuro dell'analisi dei dati . Annali di statistiche matematiche 33: 1-67.

Tendo a pensare ai parametri per analogia pensando alla distribuzione normale:

$$\text{pdf}=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2}\frac{(x_i-\mu)^2}{\sigma^2}}$$ What's important to recognize about this function is that, as ugly as it is, I pretty much know what most of the parts are. For example, I know what the numbers $1$ and $2$ are, what $\pi$ is ($\approx 3.1415926$) and what $e$ is ($\approx 2.718281828$); I know what it means to square something or to take the square root of something--I basically know it all. Moreover, if I wanted to know the height of the function at some specific $X$ value, $x_i$, then I obviously know that value too. In other words, once I know that the above equation is what I need to be working with, I know everything there is to know, once I learn the values for $\boldsymbol\mu$ and $\boldsymbol\sigma^2$. Those values are the parameters. Specifically they are unknown constants that control the behavior of the distribution. Thus, for instance, if I wanted to know the $X$ value that corresponded to the $25^{\text{th}}\%$, I can determine that (or anything else about that distribution), after knowing $\mu$ and $\sigma^2$ (but not the other way around). The above equation privileges $\mu$ and $\sigma^2$ in a way that it does not for any other value.

Likewise, if I were working with an OLS multiple regression model, where the data generating process is assumed to be:

$$Y=\beta_0 + \beta_1X_1 + \beta_2X_2 + \varepsilon \\ \text{where } \varepsilon\sim\mathcal N(0, \sigma^2)$$ then, once I learn (in practice, estimate) the values of $\boldsymbol\beta_0$, $\boldsymbol\beta_1$, $\boldsymbol\beta_2$, and $\boldsymbol\sigma^2$, I know everything there is to know. Anything else, such as the $25^{\text{th}}\%$ of the conditional distribution of $Y$ where $X=x_i$, I can calculate based on my knowledge of $\beta_0$, $\beta_1$, $\beta_2$, and $\sigma^2$. The multiple regression model above privileges $\beta_0$, $\beta_1$, $\beta_2$, and $\sigma^2$ in a way that it does not for any other value.

(All of this assumes, of course, that my model of the population distribution or data generating process is correct. It is, as always, worth bearing in mind that "all models are wrong, but some are useful" -George Box.)

To answer your questions more explicitly, I would say:

• No, any old quantitative properly should not be labelled a "parameter".
• n/a
• The characteristics that should be labelled a "parameter" depend on the model specification. I don't have a special name for other quantitative characteristics, but I think it would be fine to call them properties or characteristics or consequences, etc.

There have been some great answers to this question, I just thought I'd summarise an interesting reference that provides a fairly rigorous discussion of estimators.

The virtual laboratories page on estimators defines

• a statistic as "an observable function of the outcome variable".
• "in the technical sense, a parameter $\theta$ is a function of the distribution of X"

The concept of a function of a distribution is a very general idea. Thus, every example provided above could be seen as a function of a certain distribution.

• Every quantile, including the min, median, 25th quantile, the max can be a function of a distribution.
• Skewness is a function of a distribution. If that population distribution is normal, then these will be zero, but that does not stop the calculation of these values.
• Counting the number of correlations greater than a certain value is a function of the covariance matrix which in turn is a function of a multivariate distribution.
• R-squared is a function of the distribution.