Da dove viene il termine "impara un modello"

Ho sentito spesso che i minatori di dati qui usano questo termine. Come statistico che ha lavorato su problemi di classificazione, ho familiarità con il termine "formare un classificatore" e presumo che "apprendere un modello" significhi la stessa cosa. Non mi dispiace il termine "addestrare un classificatore". Ciò sembra rappresentare l'idea di adattare un modello poiché i dati di addestramento vengono utilizzati per ottenere stime valide o "migliorate" dei parametri del modello. Ma imparerebbe significa acquisire conoscenza. In parole povere "imparare un modello" significherebbe sapere di cosa si tratta. Ma in realtà non "conosciamo" mai il modello. I modelli si avvicinano alla realtà ma nessun modello è corretto. È come ha detto Box "Nessun modello è corretto ma alcuni sono utili".

Sarei interessato a sentire la risposta dei minatori di dati. Come è nato il termine? Se lo usi, perché ti piace?

Ho il sospetto che le sue origini siano nella comunità di ricerca della rete neurale artificiale, dove la rete neurale può essere pensata come l'apprendimento di un modello dei dati attraverso la modifica dei pesi sinaptici in modo simile a quello che si verifica nel cervello umano mentre impariamo da noi stessi Esperienza. La mia carriera di ricerca è iniziata in reti neurali artificiali, quindi a volte uso la frase.

Forse ha più senso se si pensa al modello come codificato nei parametri del modello, piuttosto che all'equazione, nello stesso modo in cui un modello mentale non è una componente fisica identificabile del cervello quanto un insieme di parametri impostazioni per alcuni dei nostri neuroni.

Nota che non c'è alcuna implicazione che un modello mentale sia necessariamente corretto!

Il termine è piuttosto antico nell'intelligenza artificiale. Turing dedicò una lunga sezione su "Macchine per l'apprendimento" nel suo documento di macchine per il calcolo e intelligenza del 1950 in mente , e delinea in modo qualitativo l'apprendimento supervisionato. L'articolo originale di Rosenblatt: The Perceptron: un modello probabilistico per l'archiviazione e l'organizzazione delle informazioni nel documento Brain del 1958 parla ampiamente di un "modello matematico di apprendimento". Qui il percettrone era un "modello di apprendimento"; i modelli non sono stati "appresi".

Il documento di Pitts e McCullough del 1943 - il documento originale sulle "reti neurali" - non era realmente interessato all'apprendimento, più come si poteva costruire un calcolo logico (come un sistema di Hilbert o Gentzen, ma penso che si riferiscano a Russell / Whitehead) che potrebbe eseguire l'inferenza. Penso che sia stato il documento "Perceptrons" a introdurre una nozione numerica, in contrapposizione alla nozione simbolica di apprendimento in questa tradizione.

È possibile per una macchina imparare a giocare a scacchi solo da esempi? Sì. Ha un modello per giocare a scacchi? Sì. È il modello ottimale (supponendo che ce ne sia uno)? Quasi certamente no. In parole povere ho "imparato gli scacchi" se posso giocare a scacchi ok - o forse abbastanza bene. Ciò non significa che io sia il giocatore di scacchi ottimale. Questo è il senso in cui Turing stava descrivendo "l'apprendimento" quando ha discusso dell'apprendimento degli scacchi nel suo articolo.

Sono molto in contrasto con il termine che uso. Quindi (per esempio) per l'apprendimento nel limite direi "identifica", per l'apprendimento SVM direi "treno", ma per MCMC "apprendi" direi "ottimizza". E per esempio chiamo solo regressione "regressione".

Come ricercatore di Bioplausible Machine Learning, sono pienamente d'accordo sul fatto che "nessun modello è corretto ma alcuni sono utili", e in effetti i modelli e i formalismi hanno il forte fallimento come quelli usati dagli autori che parlano dell'ottimizzazione del problema, quando ciò che stanno facendo sta ottimizzando un modello, ovvero esplorando il suo spazio di parametri e trovando un livello locale o, si spera, globale ottimale. Questo non è in generale un ottimo per il vero problema. Mentre il creatore di un modello utilizza normalmente la terminologia corretta ed espone tutti i presupposti, la maggior parte degli utenti sorvola i presupposti, che spesso si ritiene non detengano, e usa anche un linguaggio meno preciso su "apprendimento", "ottimizzazione" e " parametrizzazione".

Penso che questa parametrizzazione ottimale di un modello sia ciò che le persone significherebbero in Machine Learning, in particolare in Machine Learning supervisionato, anche se non posso dire di aver sentito "imparare un modello" molto - ma succede, e mentre la persona allena il modello, il computer apprende i parametri del modello. Anche nell'apprendimento non supervisionato, "l'apprendimento" è spesso la semplice parametrizzazione di un modello, e si spera che "apprendere un modello" sia quindi una parametrizzazione ottimale di un modello (sebbene spesso modi diversi di cercare nello spazio dei parametri trovino soluzioni diverse anche se possono essere provate per ottimizzare la stessa cosa). Preferirei piuttosto usare "training a model"

In effetti, la maggior parte delle mie ricerche riguarda l'apprendimento del modello in termini di scoperta di un modello migliore, o di un modello più computazionalmente e cognitivamente / biologicamente / ecologicamente plausibile.