Cosa si intende per "studente debole"?

34

Qualcuno può dirmi cosa si intende con la frase "studente debole"? Dovrebbe essere un'ipotesi debole? Sono confuso sulla relazione tra uno studente debole e un classificatore debole. Sono entrambi uguali o c'è qualche differenza?

Nell'algoritmo AdaBoost, T=10. Cosa si intende con questo? Perché selezioniamo T=10?

— Vrushali
fonte

1

Benvenuto nel sito, @vrushali. L'ho modificato per rendere più agevole l'inglese; per favore assicurati che dica ancora cosa intendi. Inoltre, non sono sicuro che la seconda serie di domande (su adaboost) sia la stessa della prima serie di domande; potrebbe essere più sensato separarli in diversi thread.

— gung - Ripristina Monica

35

Uno studente 'debole' (classe, predittore, ecc.) È solo uno che si comporta in modo relativamente scarso: la sua precisione è al di sopra della probabilità, ma a malapena. C'è spesso, ma non sempre, l'ulteriore implicazione che è computazionalmente semplice. Uno studente debole suggerisce anche che molte istanze dell'algoritmo vengono raggruppate (tramite boosting, insaccamento, ecc.) Per creare un classificatore di ensemble "forte".

È menzionato nell'articolo originale AdaBoost di Freund & Schapire:

Forse la più sorprendente di queste applicazioni è la derivazione di una nuova applicazione per il "potenziamento", ovvero la conversione di un algoritmo di apprendimento PAC "debole" che si comporta leggermente meglio delle ipotesi casuali in una con precisione arbitrariamente alta. - (Freund & Schapire, 1995)

ma penso che la frase sia in realtà più vecchia di così - ho visto persone citare un termine (?!) di Michael Kearns degli anni '80.

L'esempio classico di un discente debole è un moncone decisionale, un albero decisionale a un livello (1R o OneR è un altro discente debole comunemente usato; è abbastanza simile). Sarebbe alquanto strano definire un SVM uno "studente debole", anche in situazioni in cui si comporta male, ma sarebbe perfettamente ragionevole chiamare una singola decisione sconcertare uno studente debole anche quando si comporta sorprendentemente bene da solo.

Adaboost è un algoritmo iterativo e

indica in genere il numero di iterazioni o "round". L'algoritmo inizia addestrando / testando uno studente debole sui dati, ponderando equamente ciascun esempio. Gli esempi classificati erroneamente aumentano i loro pesi per il / i turno / i successivo / i, mentre quelli che sono correttamente classificati ottengono i loro pesi diminuiti.

T

$T$

Non sono sicuro che ci sia qualcosa di magico in . Nel documento del 1995, è dato come parametro gratuito (cioè lo si imposta da soli). $T=10$ $T$

— Matt Krause
fonte

Per quanto ne so, DecisionStump è diverso da 1Rule. Un moncone di decisione è sempre un albero binario di 1 livello (per attributi sia nominali che numerici). 1La regola può avere più di 2 elementi secondari (sia nominali che numerici) e per gli attributi numerici un test più complesso della divisione binaria per un valore. Inoltre, in WEKA ci sono 2 diverse implementazioni: DecisionStump e OneR.

— rapaio,

Hmmm ... Immagino tu abbia ragione. Il documento originale 1R dice "Il tipo specifico di regole esaminate in questo documento, chiamato 1-Regole, sono regole che classificano un oggetto sulla base di un singolo attributo (cioè, sono alberi decisionali di livello 1", ma gli alberi decisionali possono essere implementato in molti modi diversi. Lo modificherò chiaramente

— Matt Krause

Esiste anche un'implementazione OneR nativa: il pacchetto OneR, su CRAN: CRAN.R-project.org/package=OneR , ecco la vignetta: cran.r-project.org/web/packages/OneR/vignettes/OneR. html (informativa completa: sono l'autore di questo pacchetto).

— vonjd,

7

Uno studente debole è uno studente che, indipendentemente dalla distribuzione dei dati di allenamento, farà sempre meglio del caso, quando cerca di etichettare i dati. Fare meglio del caso significa che avremo sempre un tasso di errore inferiore a 1/2.

$X$ $Y$

$H_x$ $Y$

Questo alla fine migliora gli studenti deboli e li converte in studenti forti.

Per maggiori informazioni: https://youtu.be/zUXJb1hdU0k .

— Anish Singh Walia
fonte

Benvenuti nel CV. Dato che sei nuovo qui, potresti voler partecipare al nostro tour , che contiene informazioni per i nuovi utenti. . Questa risposta non sembra fornire qualcosa di nuovo o migliorare rispetto alle risposte precedenti. Pensi che manchi qualcosa nei precedenti?

— TEG - Ripristina Monica

perché dovrebbe essere inferiore a 1/2. Se il tasso di errore è superiore a 1/2, dovrebbe essere anche un classificatore debole.

— Codice Papa

@CodePope, ho capito bene, ma in realtà uno "studente debole" è definito formalmente in questi termini. Concordo sul fatto che qualsiasi modello che presenta un errore superiore al 50% sia anche povero e debole. Ma parlando di definizioni formali come definite dagli scienziati, uno studente debole è uno che ha un errore inferiore a 1/2 o 50%.

— Anish Singh Walia,

1

Lo studente debole è uguale al classificatore debole o al predittore debole. L'idea è che usi un classificatore che è, beh ..., non così buono, ma almeno migliore di quello casuale. Il vantaggio è che il classificatore sarà robusto nell'adattamento eccessivo. Ovviamente non ne usi solo uno ma un ampio set di quelli, ognuno leggermente migliore di quello casuale. Il modo esatto in cui li selezioni / combini dipende dalla metodologia / algoritmo, ad esempio AdaBoost.

In pratica come classificatore debole usi qualcosa come una semplice soglia su una singola funzione. Se la funzionalità è al di sopra della soglia, prevedi che appartiene agli aspetti positivi, altrimenti decidi che appartiene agli aspetti negativi. Non sono sicuro di T = 10, dal momento che non esiste un contesto, ma posso supporre che sia un esempio per il superamento di alcune funzionalità.

— iliasfl
fonte