Qual è la differenza tra apprendimento e inferenza?

I documenti di ricerca sull'apprendimento automatico spesso trattano l'apprendimento e l'inferenza come due compiti separati, ma non mi è chiaro quale sia la distinzione. In questo libro, ad esempio, usano le statistiche bayesiane per entrambi i tipi di attività, ma non forniscono una motivazione per quella distinzione. Ho diverse idee vaghe di cosa potrebbe trattarsi, ma vorrei vedere una definizione solida e forse anche confutazioni o estensioni delle mie idee:

• La differenza tra inferire i valori delle variabili latenti per un determinato punto dati e apprendere un modello adatto per i dati.
• La differenza tra estrarre le varianze (inferenza) e apprendere le invarianze in modo da poter estrarre le varianze (imparando le dinamiche dello spazio di input / processo / mondo).
• L'analogia neuroscientifica potrebbe essere potenziamento / depressione a breve termine (tracce di memoria) rispetto a potenziamento / depressione a lungo termine.

Concordo con la risposta di Neil G, ma forse questa frase alternativa aiuta anche:

Considera l'impostazione di un semplice modello di miscela gaussiana. Qui possiamo pensare ai parametri del modello come all'insieme dei componenti gaussiani del modello di miscela (ciascuno dei loro mezzi e varianze e il peso di ciascuno nella miscela).

Dato un insieme di parametri del modello, l' inferenza è il problema di identificare quale componente avrebbe probabilmente generato un singolo esempio dato, di solito sotto forma di una "responsabilità" per ciascun componente. Qui, le variabili latenti sono solo il singolo identificatore per il quale componente ha generato il vettore dato, e stiamo deducendo quale componente probabilmente sarebbe stato. (In questo caso, l'inferenza è semplice, anche se in modelli più complessi diventa piuttosto complicata.)

L'apprendimento è il processo di, dato un insieme di campioni dal modello, che identifica i parametri del modello (o una distribuzione sui parametri del modello) che si adattano meglio ai dati forniti: scegliendo i mezzi, le varianze e le ponderazioni dei gaussiani.

L'algoritmo di apprendimento Expectation-Maximization può essere considerato come inferenza performante per il set di addestramento, quindi apprendendo i migliori parametri dati quella inferenza, quindi ripetendo. L'inferenza viene spesso utilizzata nel processo di apprendimento in questo modo, ma è anche di interesse indipendente, ad esempio scegliere quale componente ha generato un dato punto dati in un modello di miscela gaussiana, per decidere lo stato nascosto più probabile in un modello Markov nascosto, per imputare i valori mancanti in un modello grafico più generale, ....

Inferenza sta scegliendo una configurazione basata su un singolo input. L'apprendimento sta scegliendo parametri basati su alcuni esempi di addestramento.

Nel framework del modello basato sull'energia (un modo di guardare a quasi tutte le architetture di machine learning), l' inferenza sceglie una configurazione per minimizzare una funzione energetica mantenendo i parametri fissi; l'apprendimento sceglie i parametri per ridurre al minimo la funzione di perdita .

Come sottolinea il coniugato, altre persone usano una terminologia diversa per la stessa cosa. Per esempio Bishop, usa "inferenza" e "decisione" per indicare rispettivamente apprendimento e inferenza. Inferenza causale significa apprendimento. Qualunque termine tu decida, questi due concetti sono distinti.

L'analogia neurologica è uno schema di attivazione dei neuroni è una configurazione; un insieme di punti di forza del collegamento sono i parametri.

Sembra la classica confusione del gergo interdisciplinare. L'OP sembra utilizzare una terminologia simile alle neuroscienze in cui i due termini in questione possono avere connotazioni diverse. Ma poiché Cross Validated si occupa generalmente di statistiche e apprendimento meccanico, proverò a rispondere alla domanda in base all'utilizzo comune di questi termini in quei campi.

Nelle statistiche classiche, l'inferenza è semplicemente l'atto di prendere ciò che sai di un campione e fare una dichiarazione matematica sulla popolazione da cui (si spera) rappresentativo. Dal manuale canonico di Casella & Berger (2002): "L'argomento della teoria della probabilità è il fondamento su cui sono costruite tutte le statistiche ... attraverso questi modelli, gli statistici sono in grado di trarre inferenze su popolazioni, inferenze basate sull'esame di una parte del tutto ". Quindi, nelle statistiche, l'inferenza è specificamente correlata ai valori di p, alle statistiche dei test e alle distribuzioni di campionamento, ecc.

Per quanto riguarda l'apprendimento, penso che questa tabella di All of Statistics (2003) di Wasserman possa essere utile:

È strano che nessun altro lo abbia menzionato, ma puoi avere deduzioni solo nei casi in cui hai una distribuzione di probabilità. Qui per citare Wiki, che cita il dizionario di Oxford:

L'inferenza statistica è il processo di utilizzo dell'analisi dei dati per dedurre le proprietà di una distribuzione di probabilità sottostante (Oxford Dictionary of Statistics)

https://en.wikipedia.org/wiki/Statistical_inference

Nel caso di reti neurali tradizionali, k-NN o SVM vanigliate non hai densità di probabilità da stimare, né ipotesi su qualsiasi densità, quindi nessuna inferenza statistica lì. Solo formazione / apprendimento. Tuttavia, per la maggior parte (tutte?) Le procedure statistiche, è possibile utilizzare sia l'inferenza che l'apprendimento, poiché queste procedure possiedono alcuni presupposti sulla distribuzione della popolazione in questione.