Algoritmo per l'ottimizzazione degli alberi decisionali

sfondo

Un albero di decisione binario $T$ è un albero radicato dove ogni nodo interno (e radice) è etichettato da un indice $j \in \{1,..., n\}$ tale che nessun percorso dalla radice alla foglia ripete un indice, le foglie sono etichettate dagli output in $\{A,B\}$ e ogni bordo è etichettato da $0$ per il figlio sinistro e $1$ per il figlio destro. Per applicare un albero a un input $x$ :

1. Inizia dalla radice
2. se si è in foglia, si produce l'etichetta foglia $A$ o $B$ e termina
3. Leggi l'etichetta del tuo nodo corrente, se x j = 0 quindi passa al figlio sinistro e se x j = 1 quindi passa al figlio destro.$j$$x_j = 0$$x_j = 1$
4. vai al passaggio (2)

L'albero è usato come un modo per valutare una funzione, in particolare diciamo che un albero rappresenta una funzione totale f se per ogni x ∈ { 0 , 1 } n abbiamo T ( x ) = f ( x ) . La complessità della query di un albero è la sua profondità e la complessità della query di una funzione è la profondità dell'albero più piccolo che lo rappresenta.$T$$f$$x \in \{0,1\}^n$$T(x) = f(x)$

Problema

Dato un albero decisionale binario T emette un albero decisionale binario T 'di profondità minima tale che T e T' rappresentino la stessa funzione.

Domanda

Qual è l'algoritmo più noto per questo? Sono noti limiti inferiori? E se sappiamo che la ? Che dire se richiediamo che T ′ abbia una profondità approssimativamente minima?$\text{depth}(T') = O(\log \text{depth}(T))$$T'$

Approccio ingenuo

L'approccio ingenuo è dato per enumerare in modo ricorsivo tutti gli alberi di decisione binaria di profondità D - 1 durante il test se si valutano per la stessa cosa di T . Questo sembra richiedere O ( d 2 n n $d = \text{depth}(T)$$d - 1$$T$passi (supponendo che siano necessaridpassi per verificare a cosaT(x)valuta per unaxarbitraria). C'è un approccio migliore?$O(\frac{d 2^n n!}{(n - d)!})$$d$$T(x)$$x$

Motivazione

Questa domanda è motivata da una precedente domanda sul compromesso tra complessità della query e complessità temporale . In particolare, l'obiettivo è limitare la separazione temporale per le funzioni totali. Possiamo creare un albero da un algoritmo ottimale nel tempo con runtime t , e quindi vorremmo convertirlo in un albero T ′ per un algoritmo di query ottimale. Sfortunatamente, se t ∈ O ( n ! / ( N - d ) ! ) (E spesso d ∈ Θ ( n $T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$) il collo di bottiglia è la conversione. Sarebbe bello se potessimo sostituire da qualcosa come 2 d .$n!/(n - d)!$$2^d$

Ho 3 risposte, tutte con risultati di durezza leggermente diversi.

Sia sia una funzione.$f: \{0,1\}^n \rightarrow \{0,1\}$

risposta 1

Dato un albero di decisione calcolo f e un numero, è NP-difficile dire se esiste un albero di decisione T ' di calcolo f di dimensioni al massimo quel numero. $T$$f$$T'$$f$( Zantema e Bodlaender '00 )

Risposta 2

Dato un albero decisionale calcola f , NP è difficile approssimare il più piccolo albero decisionale che calcola f con qualsiasi fattore costante. $T$$f$$f$( Sieling '08 )

Risposta 3

Let essere la dimensione del più piccolo albero di decisione di calcolo f . Dato un albero decisionale T che calcola f , assumendo N P ⊊ D T I M E ( 2 n ϵ ) per alcuni ϵ < 1 , non è possibile trovare un albero decisionale equivalente T ′ di dimensione s k per qualsiasi k ≥ 0 .$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

Penso che questa risposta più forte (basandosi su un'ipotesi più debole) possa essere fatta da risultati noti nella teoria dell'apprendimento degli algoritmi Occam per gli alberi delle decisioni, attraverso il seguente argomento:

1. È possibile trovare un albero decisionale su variabili nel tempo n log s , dove s è il più piccolo albero decisionale coerente con esempi provenienti da una distribuzione (modello PAC). ( Blum '92$n$$n^{\log s}$$s$ )
2. Supponendo per qualche ε < 1 , non possiamo PAC imparare dimensioni s alberi di decisione per dimensioni s k decisione alberi per ogni k ≥ 0 . ( Alekhnovich et al. '07 )$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

Questi due risultati sembrano implicare un risultato di durezza per il tuo problema. Da un lato (1), possiamo trovare un grande albero decisionale; d'altra parte (2), non dovremmo essere in grado di minimizzarlo per ottenerne uno "piccolo" equivalente, di dimensione , anche quando ne esiste uno di dimensione s .$s^k$$s$