Ricorrenze e funzioni generatrici negli algoritmi

18

La combinatoria svolge un ruolo importante nell'informatica. Utilizziamo frequentemente metodi combinatori sia in analisi che in progettazione in algoritmi. Ad esempio, un metodo per trovare un set di copertine $k$ -vertex in un grafico potrebbe semplicemente ispezionare tutti i possibili sottoinsiemi . Mentre le funzioni binomiali crescono in modo esponenziale, se è una costante fissa, finiamo con un algoritmo temporale polinomiale mediante analisi asintotica. $\binom{n}{k}$ $k$

Spesso i problemi della vita reale richiedono meccanismi combinatori più complessi che possiamo definire in termini di recidive. Un esempio famoso è la sequenza di fibonacci (ingenuamente) definita come:

$f(n) = \begin{cases} 1 & \text{if } n = 1 \\ 0 & \text{if } n = 0 \\ f(n-1) + f(n-2) & \text{otherwise} \end{cases}$

Ora calcolare il valore del esimo termine cresce esponenzialmente con questa ricorrenza, ma grazie alla programmazione dinamica, possiamo calcolare in tempo lineare. Ora, non tutte le ricorrenze si prestano a DP (fuori mano, la funzione fattoriale), ma è una proprietà potenzialmente sfruttabile quando si definisce un conteggio come una ricorrenza piuttosto che una funzione generatrice. $n$

La generazione di funzioni è un modo elegante per formalizzare un certo conteggio per una determinata struttura. Forse la più famosa è la funzione di generazione binomiale definita come:

$(x + y)^\alpha = \sum_{k=0}^\infty \binom{\alpha}{k}x^{\alpha - k}y^k$

Fortunatamente questo ha una soluzione a forma chiusa. Non tutte le funzioni di generazione consentono una descrizione così compatta.

Ora la mia domanda è questa: con quale frequenza vengono generate le funzioni utilizzate nella progettazione di algoritmi? È facile vedere come possono essere sfruttati per comprendere il tasso di crescita richiesto da un algoritmo tramite analisi, ma cosa possono dirci di un problema durante la creazione di un metodo per risolverlo?

Se molte volte lo stesso conteggio può essere riformulato come ricorrenza, può prestarsi alla programmazione dinamica, ma forse la stessa funzione generatrice ha una forma chiusa. Quindi non è così uniformemente tagliato.

algorithms algorithm-analysis combinatorics

— Nicholas Mancuso
fonte

Se la funzione di generazione fornisce una formula (ad esempio, la formula di Binet per i numeri di fibonacci) che può essere utilizzata per calcolare il numero invece di utilizzare la ricorrenza (forse in modo più efficiente), la considera una risposta?

— Aryabhata,

11

Le funzioni di generazione sono utili quando si progettano algoritmi di conteggio. Cioè, non solo quando stai cercando il numero di oggetti con una determinata proprietà, ma anche quando stai cercando un modo per enumerare questi oggetti (e, forse, generare un algoritmo per contare gli oggetti). C'è un'ottima presentazione nel capitolo 7 di Concrete Mathematics di Ronald Graham, Donald Knuth e Oren Patashnik . Gli esempi seguenti sono tratti da questi libri (gli errori e la mancanza di chiarezza sono i miei).

Supponiamo che tu stia cercando i modi per apportare modifiche con un determinato set di monete. Ad esempio, con comuni denominazioni statunitensi¹, le monete possibili sono . Per dare ¢ 42 in cambio, una possibilità è ; un'altra possibilità è $[1], [5], [10], [25], [100]$ $[25][10][5][1][1]$ . Scriveremo . Più in generale, possiamo scrivere una funzione generatrice per tutti i modi per dare il cambiamento: $[10][10][10][10][1][1]$ $42 \langle [25][10][5][1]^2 \rangle = \langle [10]^4 [1]^2 \rangle$ In termini più tecnici,è un termine nello spazio delle serie di potenze rispetto alle cinque variabili. Definire la valutazione di un monomio in questo spazio con

H = \sum_{h \geq 0} \sum_{q \geq 0} \sum_{d \geq 0} \sum_{n \geq 0} \sum_{p \geq 0} [100]^{h} [25]^{q} [10]^{d} [5]^{n} [1]^{p}

$H = \sum_{h\ge0} \sum_{q\ge0} \sum_{d\ge0} \sum_{n\ge0} \sum_{p\ge0} [100]^h [25]^q [10]^d [5]^n [1]^p$

H

$H$

[100], [25], [10], [5], [1]

$[100], [25], [10], [5], [1]$

Poi i modi per dare

centesimi nel cambiamento sono il numero di monomi la cui valutazione è

. Possiamo esprimere

in modo incrementale, scrivendo prima i modi

per dare il cambiamento solo in penny, poi i modi

⟨ [100]^{h} [25]^{q} [10]^{d} [5]^{n} [1]^{p} ⟩ = 100 h + 25 q + 10 d + 5 n + p

$\langle [100]^h [25]^q [10]^d [5]^n [1]^p \rangle = 100 h + 25 q + 10 d + 5 n + p$

v

$v$

v

$v$

H

$H$

P

$P$

N

$N$ per dare il resto in penny e nickel e così via. (

significa nessuna moneta.)

I

$I$

Se vuoi contare e non solo elencare i modi per dare il cambiamento, allora c'è un modo semplice per usare le serie formali che abbiamo ottenuto. Applicare l'omomorfismo

\begin{matrix} P = I + [1] + [1]^{2} + [1]^{3} + \dots = \frac{I}{I - [1]} \\ N = (I + [5] + [5]^{2} + [5]^{3} + \dots) P = \frac{P}{I - [5]} \\ D = (I + [10] + [10]^{2} + [10]^{3} + \dots) N = \frac{N}{I - [10]} \\ Q = (I + [25] + [25]^{2} + [25]^{3} + \dots) D = \frac{D}{I - [25]} \\ H = (I + [100] + [100]^{2} + [100]^{3} + \dots) Q = \frac{Q}{I - [100]} \end{matrix}

$\begin{gather*} P = I + [1] + [1]^2 + [1]^3 + \ldots = \frac{I}{I - [1]} \\ N = (I + [5] + [5]^2 + [5]^3 + \ldots) P = \frac{P}{I - [5]} \\ D = (I + [10] + [10]^2 + [10]^3 + \ldots) N = \frac{N}{I - [10]} \\ Q = (I + [25] + [25]^2 + [25]^3 + \ldots) D = \frac{D}{I - [25]} \\ H = (I + [100] + [100]^2 + [100]^3 + \ldots) Q = \frac{Q}{I - [100]} \\ \end{gather*}$

Il coefficiente di

in

è il numero di modi per dare

centesimi in variazione.

S : [1] \mapsto X, [5] \mapsto X^{5}, [10] \mapsto X^{10}, [25] \mapsto X^{25}, [100] \mapsto X^{100}

$S: \quad [1] \mapsto X, \quad [5] \mapsto X^5, \quad [10] \mapsto X^{10}, [25] \mapsto X^{25}, [100] \mapsto X^{100}$

X^{v}

$X^v$

S (C)

$S(C)$

v

$v$

$2 \times n$ $3 \times n$

{\begin{cases} U = o + L V + Γ Λ + \equiv U \\ V = \begin{matrix} I \end{matrix} U + \begin{matrix} = \\ - \end{matrix} V \\ Λ = \begin{matrix} I \end{matrix} U + \begin{matrix} - \\ = \end{matrix} Λ \end{cases}

$\begin{cases} U = \mathsf{o} + \mathsf{L} V + \mathsf{\Gamma} \Lambda + \mathord{\equiv} U \\ V = \substack{\mathsf{I}\\\strut} U + \substack{=\\\:-} V \\ \Lambda = \substack{\strut\\\mathsf{I}} U + \substack{\:-\\=} \Lambda \\ \end{cases}$

o

$\mathsf{o}$

L

$\mathsf{L}$

\begin{matrix} I \end{matrix}

$\substack{\strut\\\mathsf{I}}$

\begin{matrix} - \\ = \end{matrix}

$\substack{\:-\\=}$

X

$X$

3 \times (2 n / 3)

$3 \times (2n/3)$

X^{3 k}

$X^{3k}$

6 k

$6k$

3 k

$3k$

2 k

$2k$

Ancora una volta, leggi Concrete Mathematics per una presentazione meno affrettata³.

¹ _{So che la mia lista è incompleta; supponiamo un US semplificato adatto per esempi matematici.}
² ² _{Inoltre, se si presenta, assumi monete sferiche.}
³ _{E migliore composizione.}

— Gilles 'SO- smetti di essere malvagio'
fonte

8

Ricordo un problema che ho dovuto risolvere durante un concorso di programmazione per studenti nel 2001. Il problema era questo:

Date le masse di 1, 7, 13, ... (Non ricordo quali masse, ma c'era un insieme finito e determinato di masse), progettare una funzione che determina se un determinato peso può essere pesato su una bilancia con questo insieme di masse.

Ho iniziato con anelli nidificati, ma ho colpito rapidamente un muro. Poi ho capito che dovevo iniziare con l'enumerazione di ciò che si può fare con le masse più leggere prima di procedere con quelle più pesanti. Potrei risolvere il problema con molti loop non previsti.

Se non fossi stato giovane arrogante e autosufficiente in quel momento (e avessi saputo e praticato le funzioni di generazione), avrei potuto definire il problema con le funzioni di generazione in quanto tali:

$f(x)$ $n$

Quale peso sul piatto giusto posso pesare con una singola massa di 1?

Tre possibilità:

Se metto la massa sul piatto sinistro, posso pesare 1.
Se metto la massa sul piatto giusto, posso pesare -1.
Se non uso la massa, posso pesare 0.

$-1$ $0$ $1$ $x^{-1} + 1 + x$

\frac{1 - X^{3}}{X (1 - X)}

$\frac{1 - x^3}{x(1-x)}$

$m$ $x^{-m} + 1 + x^m$

\frac{1 - X^{3 m}}{X^{m} (1 - X^{m})}

$\frac{1 - x^{3m}}{x^m(1-x^m)}$

$M$ $f$

f (X) = \frac{\underset{m \in M}{Π} (1 - X^{3 m})}{X^{\underset{m \in M}{Σ} m} \underset{m \in M}{Π} (1 - X^{m})}

$f(x) = \frac{\prod_{m \in M}(1 - x^{3m})}{x^{\sum_{m \in M}m}\prod_{m \in M}(1 - x^{m})}$

Ora, dato un pacchetto in grado di eseguire operazioni sui polinomi, devi solo:

Calcola entrambi i prodotti.
Eseguire la divisione di questi prodotti, iniziando dal grado più basso. (che termina)
$x^k$

$w \ge 0$ $w$ $M$

Ho progettato l'algoritmo utilizzando componenti matematicamente validi. La parte principale dell'algoritmo, che è una divisione polinomiale con il grado più basso per primo, è lineare e può essere implementata da un pacchetto standard. Potrebbe non essere ottimale, ma sicuramente si comporta meglio di quello che ho fatto al concorso e in modo meno soggetto a errori.

Se osservi attentamente il processo di divisione, vedi rapidamente che il resto può essere visto come lo "stato nascosto attuale" in ogni stato del processo e il quoziente come risultato. Il processo termina quando lo "stato nascosto attuale" raggiunge lo zero ovunque.

È possibile implementare i polinomi come array o, se sono veramente scarsi, come elenchi ordinati per coefficienti di indice e questo non cambierà l'algoritmo.

— Laurent LA RIZZA
fonte

3

ℓ γ_{ℓ + 1}^{(m)} = (2 ℓ - m) γ_{ℓ}^{(m)} + (m - ℓ + 1) γ_{ℓ - 1}^{(m)}, γ_{0}^{(m)} = 1, γ_{m + 1}^{(m)} = e .

$\ell \gamma^{(m)}_{\ell+1} = (2\ell-m) \gamma^{(m)}_\ell + (m - \ell + 1) \gamma^{(m)}_{\ell-1}, \quad \gamma^{(m)}_0 = 1, \quad \gamma^{(m)}_{m+1} = e.$

γ_{ℓ}^{(m)} = m (γ_{ℓ}^{(m - 1)} - γ_{ℓ - 1}^{(m - 1)})

$\gamma^{(m)}_\ell = m(\gamma^{(m-1)}_\ell - \gamma^{(m-1)}_{\ell-1})$ , we reduced the problem to computing some universal sequence

γ^{(0)}

$\gamma^{(0)}$ . The latter was accomplished using generating functions, and from there we got an explicit formula for

γ^{(m)}

$\gamma^{(m)}$ , again using generating functions. You can find the solution in the paper if you're curious, though we never bothered to include this derivation.

— Yuval Filmus
fonte

0

Perhaps the extensive study of Quicksort, and its many variants, is the clearest example. There combinatoric considerations governed the consideration of alternatives, and analyzing the solutions to quite complex equations shows performance advantages (or not) of them.

— vonbrand
fonte