Cosa significa teoria dell'apprendimento PAC?

Sono nuovo nell'apprendimento automatico. Sto studiando un corso di apprendimento automatico (Stanford University) e non ho capito cosa si intende con questa teoria e quale sia la sua utilità. Mi chiedo se qualcuno potrebbe dettagliare questa teoria per me.

Questa teoria si basa su questa equazione.

Probabilmente la teoria dell'apprendimento approssimativamente corretta (PAC) aiuta ad analizzare se e in quali condizioni uno studente produrrà probabilmente un classificatore approssimativamente corretto. (Vedrai che alcune fonti usano al posto di )A $L$$A$$L$

Innanzitutto, definiamo "approssimativo". Un'ipotesi è approssimativamente corretta se il suo errore sulla distribuzione degli input è limitato da alcuni dire, , dove è la distribuzione sugli input.ϵ , 0 ≤ ϵ ≤ $h \in H$errorD(h)<ϵ$\epsilon, 0 \le \epsilon \le \frac{1}{2}.$$error_D(h)\lt \epsilon$$D$

Successivamente, "probabilmente". Se genererà un simile classificatore con probabilità , con , chiameremo quel classificatore probabilmente approssimativamente corretto.1 - δ 0 ≤ δ ≤ $L$$1 - \delta$$0 \le \delta \le \frac{1}{2}$

Sapere che un concetto target è apprendibile dal PAC consente di limitare le dimensioni del campione necessarie per apprendere probabilmente un classificatore approssimativamente corretto, che è ciò che viene mostrato nella formula che hai riprodotto:

Per ottenere alcune intuizioni al riguardo, nota gli effetti su quando modifichi le variabili nella parte destra. Quando l'errore ammissibile diminuisce , aumenta la dimensione del campione necessaria. Analogamente, cresce la probabilità di uno studente approssimativamente corretta, e con le dimensioni dello spazio delle ipotesi . (Liberamente, uno spazio di ipotesi è l'insieme di classificatori che il tuo algoritmo considera.) Più chiaramente, se consideri più possibili classificatori o desideri un errore inferiore o una maggiore probabilità di correttezza, hai bisogno di più dati per distinguerli.$m$$H$

Per di più, questo e altri video correlati potrebbero essere utili, come potrebbe essere questa lunga introduzione o uno dei molti testi di apprendimento automatico, ad esempio Mitchell .

La definizione di probabilmente approssimativamente corretta è dovuta a Valiant. Ha lo scopo di dare una definizione matematicamente rigorosa di ciò che è l'apprendimento automatico.
Fammi vagare un po '. Mentre PAC usa il termine "ipotesi", la maggior parte delle persone usa il termine modello anziché ipotesi. Con un cenno alla comunità delle statistiche preferisco il modello, ma cercherò di usare entrambi. Macchina inizia con alcuni dati, l'apprendimento e uno vuole trovare un'ipotesi o modello che, date le ingressi x ho ritorno y io o qualcosa di molto vicino. Ancora più importante, dati nuovi dati ˜ x il modello calcolerà o predicerà il corrispondente$(x_i, y_i)$$x_i$$y_i$$\tilde{x}$$\tilde{y}$ .
Davvero non si è interessati a quanto sia precisa l'ipotesi sui dati (di formazione) dati, tranne per il fatto che è difficile credere che un modello creato utilizzando alcuni dati non rispecchierà accuratamente quel set di dati, ma sarà preciso su qualsiasi futuro set di dati. Le due avvertenze importanti sono che non si possono prevedere nuovi dati con una precisione del 100% e c'è anche la possibilità che gli esempi di dati che si sono visti manchino qualcosa di importante. Un esempio di giocattolo sarebbe che se ti dessi i "dati" 1,2,3,4 uno "prevederebbe" che 5 sarebbe il numero successivo. Se lo provassi chiedendo alle persone qual è il prossimo numero nella sequenza, la maggior parte delle persone direbbe 5. Qualcuno potrebbedire 1.000.000 però. Se ti venisse data la sequenza 1,2,3, ... 999.999 si sarebbe sicuri che il numero successivo è 1.000.000. Tuttavia, il numero successivo potrebbe essere 999.999,5, o addirittura 5. Il punto è che più dati si vedono, più si può essere sicuri di aver prodotto un modello accurato, ma non si può mai essere assolutamente certi.

La definizione di probabilmente approssimativamente corretta fornisce una versione matematicamente precisa di questa idea. Dati dati con output e una classe di modelli che costituiscono le ipotesi che si possono porre 2 domande. Possiamo usare i dati per trovare un'ipotesi specifica che probabilmente sarà davvero accurata nel prevedere nuovi valori? Inoltre, quanto è probabile che il modello sia accurato come ci aspettiamo che sia? Cioè possiamo addestrare un modello che è molto probabile che sia molto preciso. Come nella risposta di Sean Easter, diciamo che una classe di ipotesi (classe di modelli) è PAC se possiamo fare un argomento "epsilon, delta". Cioè possiamo dire con probabilità che il nostro modello$x_i, 1 \leq i \leq m$$y_i$$f_{\theta}$$f_{\Theta}$$p >1-\delta$$f_{\Theta}$ è preciso all'interno di . Quanti dati si devono vedere per soddisfare una specifica coppia dipende dall'effettivo e dalla complessità della classe di ipotesi data.$\epsilon$$(\delta,\epsilon)$$(\delta,\epsilon)$

Più precisamente, una classe di ipotesi o modelli è PAC se per qualsiasi coppia con esiste un modello specifico tale che qualsiasi nuovo dato , questo modello soddisferà con probabilità se il modello è stato selezionato (addestrato) con almeno esempi di addestramento. Qui Err è la funzione di perdita scelta che di solito è .$\mathcal{H}$$f_{\theta}$$(\epsilon, \delta)$$0 < \epsilon,\delta , <.5$$f_{\Theta}$$\tilde{x}, \tilde{y}$$Err(f_{\Theta}(\tilde{x}) ,\tilde{y} ) < \epsilon$$p > 1-\delta$$m = m(\delta,\epsilon,\mathcal{H})$$(f_{\Theta}(\tilde{x}) -\tilde{y})^2$

Il diagramma che hai fornisce una formula per quanti dati è necessario addestrare per una determinata classe di ipotesi per soddisfare una data coppia . Potrei sbagliarmi, ma credo che questa definizione sia stata data da Valiant in un documento intitolato "Una teoria dell'apprendibile" ed è stato in parte responsabile del fatto che Valiant ha vinto il premio Turing.$(\delta,\epsilon)$