Inferenza vs. stima?

Quali sono le differenze tra "inferenza" e "stima" nel contesto dell'apprendimento automatico ?

Come principiante, sento che inferiamo variabili casuali e stimiamo i parametri del modello. Questa mia comprensione è giusta?

In caso contrario, quali sono esattamente le differenze e quando dovrei usare quali?

Inoltre, qual è il sinonimo di "imparare"?

L'inferenza statistica è fatta dell'intera raccolta di conclusioni che si possono trarre da un dato set di dati e un modello ipotetico associato, compreso l'adattamento di detto modello. Per citare da Wikipedia ,

L'inferenza è l'atto o il processo di derivare conclusioni logiche da premesse conosciute o ritenute vere.

e,

L'inferenza statistica usa la matematica per trarre conclusioni in presenza di incertezza.

La stima non è che un aspetto dell'inferenza in cui si sostituiscono i parametri sconosciuti (associati al modello ipotetico che ha generato i dati) con soluzioni ottimali basate sui dati (e possibilmente informazioni precedenti su tali parametri). Dovrebbe sempre essere associato a una valutazione dell'incertezza delle stime riportate, valutazione che è parte integrante dell'inferenza.

La massima probabilità è un esempio di stima, ma non copre l'intera inferenza. Al contrario, l'analisi bayesiana offre una macchina inferenziale completa.

Mentre la stima di per sé mira a trovare valori dei parametri sconosciuti (ad es. Coefficienti nella regressione logistica o nell'iperpiano di separazione in macchine vettore di supporto), l'inferenza statistica tenta di collegare una misura di incertezza e / o un'istruzione di probabilità a i valori dei parametri (errori standard e intervalli di confidenza). Se il modello che lo statistico assume è approssimativamente corretto, a condizione che i nuovi dati in entrata continuino a conformarsi a quel modello, le dichiarazioni di incertezza potrebbero avere qualche verità in essi e fornire una misura di quanto spesso commetterai errori nell'uso del modello per prendere le tue decisioni.

$\mu$$\sigma^2$$\mu$$\sigma^2/n$

Il più vicino a cui l'apprendimento automatico arriva è quello della convalida incrociata quando il campione viene suddiviso in parti di addestramento e di convalida, con quest'ultimo che effettivamente dice "se i nuovi dati assomigliano ai vecchi dati, ma non sono completamente correlati ai dati che è stato utilizzato per impostare il mio modello, quindi una misura realistica del tasso di errore è tale e tale ". Viene derivato in modo completamente empirico eseguendo lo stesso modello sui dati, anziché cercare di inferire le proprietà del modello facendo ipotesi statistiche e coinvolgendo qualsiasi risultato matematico come il CLT sopra. Probabilmente, questo è più onesto, ma poiché utilizza meno informazioni e quindi richiede campioni di dimensioni maggiori. Inoltre, presuppone implicitamente che il processo non cambi,

Mentre la frase "inferire il posteriore" può avere un senso (non sono un bayesiano, non posso davvero dire quale sia la terminologia accettata), non penso che ci sia molto da fare nel fare ipotesi in quel passaggio inferenziale. Tutte le assunzioni bayesiane sono (1) nel modello precedente e (2) nel modello assunto, e una volta impostate, la parte posteriore segue automaticamente (almeno in teoria tramite il teorema di Bayes; i passaggi pratici possono essere infernalmente complicati, e Sipps Gambling ... mi scusi, il campionamento di Gibbs può essere un componente relativamente semplice per arrivare a quel posteriore). Se "inferire il posteriore" si riferisce a (1) + (2), allora è un sapore di inferenza statistica per me. Se (1) e (2) sono indicati separatamente, e quindi "inferire il posteriore" è qualcos'altro, allora non

Supponiamo di avere un campione rappresentativo di una popolazione.

L'inferenza è quando si utilizza quel campione per stimare un modello e dichiarare che i risultati possono essere estesi a tutta la popolazione, con una certa precisione. Inferenza è fare ipotesi su una popolazione usando solo un campione rappresentativo.

La stima è quando si sceglie un modello per adattarsi al campione di dati e si calcola con una certa precisione i parametri di quel modello. Si chiama stima perché non sarai mai in grado di calcolare i valori reali dei parametri poiché hai solo un campione di dati e non l'intera popolazione.

Questo è un tentativo di dare una risposta a chiunque non abbia un background nelle statistiche. Per coloro che sono interessati a maggiori dettagli, ci sono molti riferimenti utili ( come questo ad esempio ) sull'argomento.

Risposta breve:

$->$

$->$

Risposta lunga:

Il termine "stima" viene spesso utilizzato per descrivere il processo di ricerca di una stima per un valore sconosciuto, mentre "inferenza" si riferisce spesso all'inferenza statistica, un processo per scoprire distribuzioni (o caratteristiche) di variabili casuali e utilizzarle per trarre conclusioni.

Pensa a rispondere alla domanda: quanto è alta la persona media nel mio paese?

Se decidi di trovare un preventivo, potresti camminare per un paio di giorni e misurare gli estranei che incontri per strada (creare un campione) e quindi calcolare il tuo preventivo, ad esempio come media del campione. Hai appena fatto qualche stima!

D'altra parte, potresti voler trovare più di qualche stima, che sai che è un singolo numero ed è destinato a essere sbagliato. Potresti mirare a rispondere alla domanda con una certa sicurezza, ad esempio: Sono sicuro al 99% che l'altezza media di una persona nel mio paese è compresa tra 1,60 me 1,90 m.

Al fine di presentare tale affermazione, è necessario stimare la distribuzione dell'altezza delle persone che si incontrano e trarre le proprie conclusioni sulla base di questa conoscenza, che è la base dell'inferenza statistica.

La cosa cruciale da tenere a mente (come sottolineato nella risposta di Xi'an) è che trovare uno stimatore fa parte dell'inferenza statistica.

Bene, ci sono persone di diverse discipline oggi che fanno carriera nell'area della ML, ed è probabile che parlino dialetti leggermente diversi.

Tuttavia, qualunque siano i termini che potrebbero usare, i concetti sottostanti sono distinti. Quindi è importante chiarire questi concetti e quindi tradurre quei dialetti nel modo che preferisci.

Per esempio.

In PRML di Bishop,

$p(C_k|x)$

Quindi sembra che qui Inference= Learning=Estimation

Ma in altri materiali, l'inferenza può differire dalla stima, dove inferencesignifica predictionmentre estimationsignifica la procedura di apprendimento dei parametri.

Nel contesto dell'apprendimento automatico, l'inferenza si riferisce a un atto di scoperta di impostazioni di variabili latenti (nascoste) date le tue osservazioni. Ciò include anche la determinazione della distribuzione posteriore delle variabili latenti. La stima sembra essere associata alla "stima puntuale", che è quella di determinare i parametri del modello. Gli esempi includono la stima della massima verosimiglianza. Nella massimizzazione delle aspettative (EM), nel passaggio E, fai l'inferenza. Nel passaggio M, si esegue la stima dei parametri.

Penso di sentire la gente dire "inferire la distribuzione posteriore" più di "stimare la distribuzione posteriore". Quest'ultimo non è usato nella solita inferenza esatta. Viene utilizzato, ad esempio, nella propagazione delle aspettative o Bayes variazionali, in cui l'intrusione di un posteriore esatto è intrattabile e devono essere fatte ipotesi aggiuntive sul posteriore. In questo caso, il posteriore inferito è approssimativo. Le persone possono dire "approssimare il posteriore" o "stimare il posteriore".

Tutto questo è solo la mia opinione. Non è una regola

Voglio aggiungere alle risposte degli altri espandendo la parte "inferenza". Nel contesto dell'apprendimento automatico, un aspetto interessante dell'inferenza è la stima dell'incertezza. In genere è complicato con gli algoritmi ML: come si fa a deviare standard sull'etichetta di classificazione una rete neurale o un albero decisionale sputa? Nelle statistiche tradizionali, le ipotesi distributive ci consentono di fare matematica e capire come valutare l'incertezza nei parametri. In ML, potrebbero non esserci parametri, ipotesi distributive o nessuno dei due.

Sono stati compiuti alcuni progressi su questi fronti, alcuni dei quali molto recenti (più recenti delle risposte attuali). Un'opzione è, come altri hanno già detto, l'analisi bayesiana in cui il posteriore offre stime dell'incertezza. I metodi di tipo Bootstrap sono utili. Stefan Wager e Susan Athey, a Stanford, hanno un po 'di lavoro degli ultimi due anni per farsi un'idea di foreste casuali . Analogamente, BART è un metodo di insieme di alberi bayesiani che produce un posteriore da cui si può trarre l'inferenza.