Nell'informatica, spesso dobbiamo risolvere le relazioni di ricorrenza , ovvero trovare una forma chiusa per una sequenza di numeri definita ricorsivamente. Quando si considerano i runtime, siamo spesso interessati principalmente alla crescita asintotica della sequenza .

Ne sono esempi

1. Il tempo di esecuzione di una funzione ricorsiva della coda che scende da $0$ a $n$ cui corpo impiega il tempo $f(n)$ :

   $\qquad \begin{align} T(0) &= 0 \\ T(n+1) &= T(n) + f(n) \end{align}$

2. La sequenza di Fibonacci :

   $\qquad \begin{align} F_0 &= 0 \\ F_1 &= 1 \\ F_{n+2} &= F_n + F_{n+1} \end{align}$

3. Il numero di parole Dyck con $n$ coppie di parentesi:

   $\qquad\begin{align} C_0 &= 1 \\ C_{n+1}&=\sum_{i=0}^{n}C_i\,C_{n-i} \end{align}$

4. La ricorrenza del runtime di mergesort su elenchi di lunghezza $n$ :

   $\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= T(\lfloor n/2\rfloor) + T(\lceil n/2\rceil) + n-1 \end{align}$

Quali sono i metodi per risolvere le relazioni di ricorrenza? Noi stiamo cercando

• metodi generali e
• metodi per una sottoclasse significativa

così come

• metodi che producono soluzioni precise e
• metodi che forniscono (limitano) la crescita asintotica.

^{Questo dovrebbe diventare una domanda di riferimento. Si prega di inviare una risposta per metodo e fornire una descrizione generale e un esempio illustrativo.}

Conversione della cronologia completa in cronologia limitata

Questo è un primo passo per risolvere le ricorrenze in cui il valore di qualsiasi numero intero dipende dai valori di tutti i numeri più piccoli. Considera, ad esempio, la ricorrenza che emerge dall'analisi diquicksort randomizzato. (Qui,kè il rango del perno scelto casualmente.) Per qualsiasi numero interon, il valore diT(n)dipende da tuttoT(k)conk<n. Le ricorrenze di questo modulo sono chiamatericorrenze dellastoria completa.

$$T(n) = n + \frac{1}{n}\sum_{k=1}^n \big(T(k-1) + T(n-k)\big)$$ $k$$n$$T(n)$$T(k)$$k<n$

Per risolvere questa ricorrenza, possiamo trasformarla in una ricorrenza storica limitata , dove dipende solo da un numero costante di valori precedenti. Ma prima, aiuta a semplificare un po 'la ricorrenza, a raccogliere termini comuni ed eliminare fastidiose frazioni. n T ( n $T(n)$ Ora per convertire in una ricorrenza a storia limitata, annotiamo la ricorrenza per i terminiT(n-1), sottraggiamo e regather: ( n - 1 ) T ( n - 1

$$\begin{align*} n T(n) &= n^2 + 2\sum_{k=1}^{n-1} T(k) \end{align*}$$ $T(n-1)$ $$\begin{align*} (n-1) T(n-1) &= (n-1)^2 + 2\sum_{k=1}^{n-2} T(k) \\ \implies nT(n) - (n-1)T(n-1) &= (2n-1) + 2T(n-1) \\[1ex] \implies n T(n) &= (2n-1) + (n+1) T(n-1) \\[1ex] \implies \frac{T(n)}{n+1} &= \frac{2n-1}{n(n+1)} + \frac{T(n-1)}{n} \end{align*}$$

Ora se definiamo e sostituiamo la frazione 2 n - $t(n) = T(n)/(n+1)$ con la forma asintotica più sempliceΘ(1/n), otteniamo la ricorrenza molto più semplice t(n)=Θ(1/n)+t(n-1). Espandere questa ricorrenza in una somma ci dà immediatamentet(n)=Θ(Hn)=Θ(logn), dove$\frac{2n-1}{n(n+1)}$$\Theta(1/n)$

$$t(n) = \Theta(1/n) + t(n-1).$$ $t(n) = \Theta(H_n) = \Theta(\log n)$ è il n esimonumero armonico. Concludiamo che T ( n ) = Θ ( n log n ) .$H_n$$n$$\boldsymbol{T(n) = \Theta(n\log n)}$

Funzioni di generazione$\newcommand{\nats}{\mathbb{N}}$

Ogni serie di numeri corrisponde a una funzione generatrice . Spesso si può ottenere comodamente da una ricorrenza per spennare i suoi coefficienti - gli elementi della serie.

Questa risposta include la risposta generale con un esempio completo, una scorciatoia per un caso speciale e alcune note sull'uso di questo metodo per ottenere asintotici (anche se non è possibile ottenere il risultato preciso).

Il metodo

Consenti a una serie di numeri. Quindi, la serie di potenze formali$(a_n)_{n\in\nats}$

$\qquad \displaystyle A(z) = \sum_{n=0}^\infty a_nz^n$

è la normale funzione generatrice ¹ di . I coefficienti nell'espansione in serie di uguali alla sequenza, ovvero . Ad esempio, la normale funzione generatrice dei famosi numeri catalani è A ( z ) [ z n ] A ( z ) = a n C $(a_n)_{n\in\nats}$$A(z)$$[z^n]A(z) = a_n$ $C_n$

$\qquad \displaystyle C(z) = \frac{1 - \sqrt{1 - 4z}}{2z}$ .

La definizione di è anche la nostra risposta per risolvere una ricorrenza. Funziona meglio per le ricorrenze lineari, quindi supponiamo per semplicità una ricorrenza della forma$A$

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= f(n) + \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

per alcune fissa e una funzione indipendente da ogni . Ora inseriamo semplicemente sia le ancore che la parte ricorsiva nell'ansatz, cioè f ( n ) : N → N a $b_1, \dots, b_k \in \mathbb{R}$$f(n) : \nats \to \nats$$a_i$

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_nz^n \\ &= c_0z^0 + c_1z^1 + \dots + c_{k-1}z^{k-1} + \sum_{n=k}^\infty \left[ f(n) + \left(\sum_{i=1}^k b_i a_{n-i}\right)\right] z^n \end{align}$

Usando la meccanica della manipolazione della somma, le proprietà delle serie di potenze formali e le identità conosciute ², l'ultimo lato destro deve essere portato in forme chiuse, in genere in termini di . L'equazione risultante può (spesso) essere risolta per . L'espansione in serie del risultato (che può essere facilmente ottenuta, conosciuta o altrimenti accessibile) è essenzialmente la soluzione.A ( z $A(z)$$A(z)$

Buone introduzioni si possono trovare nel libro di Wilf [3] e in GKP [4]. Il materiale avanzato è stato raccolto da Flajolet e Sedgewick [5].

Esempio

Tener conto di

$\qquad \begin{align} a_0 &= 1 \\ a_1 &= 2 \\ a_n &= 5n + 3a_{n-1} - 2a_{n_2} \qquad , n > 1 \end{align}$

Calcoliamo:

$\qquad \begin{align} A(z) &= \sum_{n=0}^\infty a_n z^n \\ &= 1 + 2z + \sum_{n=2}^\infty \left[ 3a_{n-1} - 2a_{n-2} + 5n\right]z^n \\ &= 1 + 2z + 3\sum_{n=2}^\infty a_{n-1}z^n - 2\sum_{n=2}^\infty a_{n-2}z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z\sum_{n=1}^\infty a_nz^n - 2z^2\sum_{n=0}^\infty a_n z^n + 5\sum_{n=2}^\infty n z^n \\ &= 1 + 2z + 3z(A(z) - a_0) - 2z^2A(z) + 5 \left( \frac{z}{(1-z)^2} - z\right) \\ &= 1 - 6z + (3z - 2z^2)A(z) + \frac{5z}{(1-z)^2} \end{align}$

Questo risolve

$\qquad \begin{align} A(z) &= \frac{1 - 3z + 13z^2 - 6z^3}{(1-2z)(1-z)^3} \\ &= \frac{16}{1-2z} - \frac{5}{1-z} - \frac{5}{(1-z)^2} - \frac{5}{(1-z)^3} \\ &= 16\sum_{n=0}^\infty 2^n z^n - 5\sum_{n=0}^\infty z^n - 5 \sum_{n=0}^\infty (n+1) z^n - 5\sum_{n=0}^\infty \frac{(n+1)(n+2)}{2} z^n \end{align}$

Ora possiamo finalmente leggere

$\qquad \begin{align} a_n &= 16 \cdot 2^n - 5 - 5(n+1) - \frac{5}{2}(n+1)(n+2) \\ &= 2^{n+4} - \frac{5}{2}n^2 - \frac{25}{2}n - 15 \end{align}$

Una volta che ti ci abitui , noti che è tutto abbastanza meccanico. In effetti, l'algebra del computer può fare tutte queste cose per te in molti casi. Il bello è che rimane (più o meno) quel meccanico anche se la ricorrenza è più complessa. Vedi qui per un esempio più coinvolto, meno meccanico.

Si noti inoltre che le tecniche generali funzionano anche se gli oggetti cercati sono numeri complessi o addirittura polinomi.

Una scorciatoia

Per ricorrenze lineari e omogenee, vale a dire tale della forma

$\qquad \begin{align} a_0 &= c_0 \\ &\vdots \\ a_{k-1} &= c_{k-1} \\ a_n &= \sum_{i=1}^k b_i a_{n-i} \qquad , n \geq k \end{align}$

quanto sopra passa esattamente nello stesso modo, ogni volta. Eseguendo simbolicamente il calcolo sopra, troviamo il seguente lemma . Permettere

$\qquad \displaystyle z^k - b_1 z^{k-1} - b_2 z^{k-2} - \dots - b_k$

essere il polinomio caratteristico (della ricorrenza). Inoltre, gli zeri (distinti in coppia) di detto polinomio con molteplicità . Quindi, il coefficiente desiderato è dato dar $\lambda_1, \dots, \lambda_l$$r_i$

$\qquad \displaystyle a_n = \sum_{i=1}^l \sum_{j=1}^{r_i} b_{i,j} \cdot n^{j-1} \cdot \lambda_i^n$

con sconosciuto . Poiché il polinomio caratteristico ha grado , ci sono esattamente zeri (complessi), cioè la somma in . Pertanto, i coefficienti mancanti possono essere determinati risolvendo il sistema di equazioni lineari con equazioni ottenute mediante l'equazione sopra la formula con qualsiasi di (ad es. Le ancore). k k r i k k k a $b_{i,j}$$k$$k$$r_i$$k$$k$$k$$a_n$

asintotica

Arrivare a un modulo chiuso per è di solito la parte facile. Esprimendolo nel generare funzioni sappiamo che i coefficienti di (come abbiamo fatto nell'esempio) diventano rapidamente difficili, però. Esempi sono dall'alto e quello per il numero di parole Dyck menzionate nella domanda.C ( z $A(z)$$C(z)$

Si possono impiegare macchinari di analisi complessi, in particolare analisi di singolarità, al fine di ottenere asintotici per i coefficienti; le parole d'ordine includono il metodo di Darboux e il metodo del punto a sella. Questi sono basati sul teorema dei residui e sulla formula integrale di Cauchy . Vedi [6] per i dettagli.

---

1. Puoi fare cose simili con esponenziale , Dirichlet e alcune altre funzioni di generazione. Quale funziona meglio dipende dalla sequenza a portata di mano e in particolare se trovi le forme chiuse necessarie.
2. Ad esempio dal TCS Cheat Sheet o [3].
3. generatore di funzionalità di H. Wilf (1994, 2a ed.) - disponibile per il download gratuito
4. Concrete Mathematics di RL Graham, DE Knuth e O. Patashnik (1994, 2a edizione)
5. Introduzione all'analisi degli algoritmi di R. Sedgewick e P. Flajolet (2a edizione, 2013) - disponibile per il download gratuito
6. Analytic Combinatorics di P. Flajolet e R. Sedgewick (2009) - disponibile per il download gratuito

Teorema del maestro

Il teorema del Maestro fornisce asintotici per le soluzioni delle cosiddette ricorrenze di divisione e conquista , che è tale da dividere il loro parametro in blocchi proporzionati (anziché tagliare costanti). In genere si verificano quando si analizzano gli algoritmi di divisione e conquista (ricorsivi), da cui il nome. Il teorema è popolare perché spesso è incredibilmente facile da applicare. D'altra parte, può essere applicato solo alle ricorrenze del seguente modulo:

$\qquad \displaystyle T(n) = a \cdot T\left(\frac{n}{b}\right) + f(n)$

con . Vi sono tre casi$a \geq 1, b > 1$

1. $\quad \displaystyle f \in O\left( n^{\log_b (a) - \varepsilon} \right)$

   per qualche ;$\varepsilon > 0$

2. $\quad \displaystyle f \in \Theta\left( n^{\log_b a} \log^{k} n \right)$ ,

   per alcuni ;$k \geq 0$

3. $\quad \displaystyle f \in \Omega\left( n^{\log_b (a) + \varepsilon} \right)$

   per alcuni e$\varepsilon > 0$

   $\quad \displaystyle a f\left( \frac{n}{b} \right) \le c f(n)$

   per alcuni e .n → $c < 1$$n \to \infty$

che implicano gli asintotici

1. $T \in \Theta\left( n^{\log_b a} \right)$ ,
2. $T \in \Theta\left( n^{\log_b a} \log^{k+1} n \right)$ e
3. $T \in \Theta \left(f \right)$ ,

rispettivamente. Si noti che i casi di base non sono indicati o utilizzati qui; ha senso, considerando che stiamo solo studiando il comportamento asintotico . Supponiamo in silenzio che siano alcune costanti (cos'altro possono essere. Quali costanti non vediamo è irrilevante, svaniscono tutte in .$\Theta$

Esempi

1. Considera la ricorrenza

   $\qquad \displaystyle T(n) = 4T\left(\frac{n}{3}\right) + n$ .

   Con e - notare che vediamo che caso si applica con . Pertanto, .b = 3 log b a ≈ 1,26 ε = 0,25 T ∈ Θ ( n log 3 4 ) = Θ ( n 1.261 …$f(n) = n, a=4$$b=3$$\log_b a \approx 1.26$$\varepsilon = 0.25$$T \in \Theta(n^{\log_3 4}) = \Theta(n^{1.261\dots})$

2. Considera la ricorrenza

   $\qquad \displaystyle T(n) = 2T(n/2) + n$ .

   Con e - notare che si vede che due caso vale per . Pertanto, .b = 2 log b a = 1 k = 0 T ∈ Θ ( n log n $f(n) = n, a=2$$b=2$$\log_b a = 1$$k=0$$T \in \Theta(n \log n)$

3. Considera la ricorrenza

   $\qquad \displaystyle T(n) = 3T\left(\frac{n}{4}\right) + n$ .

   Con e - notare che vediamo questo caso tre dicasi e . Pertanto, .b = 4 log b a ≈ 0,79 ε = 0,2 c = 1 T ∈ Θ ( n $f(n) = n, a=3$$b=4$$\log_b a \approx 0.79$$\varepsilon = 0.2$$c=1$$T \in \Theta(n)$

4. Considera la ricorrenza

   $\qquad \displaystyle T(n) = 16T\left(\frac{n}{4}\right) + n!$

   Qui abbiamo , e- molti esempi standard avranno polinomio , ma questa non è una regola. Abbiamo e il terzo caso si applica nuovamente. In questo caso, però, siamo in grado di scegliere qualsiasi e come per tutti i . Quindi .b = 4 f ( n ) = n ! f log b a = 2 ε c > 0 n ! ∈ Ω ( n k ) k T ∈ Θ ( n ! $a = 16$$b=4$$f(n) = n!$$f$$\log_b a = 2$$\varepsilon$$c > 0$$n! \in \Omega(n^{k})$$k$$T \in \Theta(n!)$

Ulteriori letture

• È possibile che nessuno dei casi del teorema del Maestro si applichi. Ad esempio, i sottoproblemi potrebbero non avere le stesse dimensioni o avere una forma più complessa. Esistono alcune estensioni al teorema del Maestro, ad esempio Akra-Bazzi [1] o Roura [2]. Esiste anche una versione che funziona per ricorrenze discrete (ovvero i pavimenti e i ceils vengono utilizzati sui parametri ricorsivi) e fornisce risultati più nitidi [3].

• Di solito, devi massaggiare l'attuale relazione di ricorrenza che hai in forma prima di poter applicare il teorema del Maestro. Le trasformazioni comuni che preservano gli asintotici includono la caduta di pavimenti e ceppi e l'assunzione di . Fai attenzione a non rompere le cose qui; fare riferimento a [4] sezione 4.6 e questa domanda per i dettagli.$n=b^k$

---

1. On the Solution of Linear Recurrence Equations di M. Akra e L. Bazzi (1998)
2. Un teorema principale migliorato per le recidive di divisione e conquista di S. Roura (1997)
   ^{Si riferisce ad altri teoremi principali migliorati.}
3. Un teorema maestro per la divisione discreta e la conquista delle ricorrenze di M. Drmota e W. Szpankowski (2011)
4. Introduzione agli algoritmi di Cormen et al. (2009, 3a edizione)

Indovina e prova

O come mi piace chiamarlo, la " tecnica ". Può essere applicato a tutti i tipi di identità. L'idea è semplice:$\dots$

Indovina la soluzione e dimostra la sua correttezza.

Questo è un metodo popolare, probabilmente perché di solito richiede un po 'di creatività e / o esperienza (buono per mettersi in mostra) ma pochi meccanici (sembra elegante). L'arte qui è fare ipotesi valide e colte; la prova è (nel nostro caso) di solito un'induzione più o meno semplice.

Quando viene applicato alle ricorrenze, "indovinare" viene in genere eseguito da

• espandendo la ricorrenza un paio di volte,
• capire l' ancora e
• indovinando il modello per l'intermedio (i ).$\dots$

Esempio semplice

$\qquad \begin{align} s_0 &= s_1 = s_2 = 1 \\ s_n &= 5s_{n-3} + 6 \qquad\qquad n \geq 2 \end{align}$

la definizione di alcune volte:$s_n$

$\qquad \begin{align} s_n &= 5s_{n-3} + 6 \\ &= 5(5s_{n-6} + 6) + 6 \\ &= 5(5(5s_{n-9} + 6) + 6) + 6 \\ &\ \vdots \\ &= \underbrace{5(5(5( \dots 5\cdot 1}_{n \div 3 \text{ times}} + \underbrace{6 \dots ) + 6) + 6) + 6}_{n \div 3 \text{ times}} \end{align}$

Qui, il modello è facile da individuare e ci porta all'affermazione:

$\qquad \begin{align} s_n &= 5^{\left\lfloor\frac{n}{3}\right\rfloor} + 6\cdot \sum_{i=0}^{\left\lfloor\frac{n}{3}\right\rfloor - 1} 5^i \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \end{align}$

Ora dimostriamo l'identità per induzione. Per , possiamo stabilire la correttezza inserendo il rispettivo valore. Supponendo che l'identità valga per tutto per un arbitrario ma fisso , calcoliamon ′ ≤ n n ≥ $n \in \{0,1,2\}$$n' \leq n$$n \geq 3$

$\qquad \displaystyle \begin{align} s_{n+3} &= 5s_n + 6 \\ &= 5\cdot \left( \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor} - \frac{6}{4} \right) + 6 \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n}{3}\right\rfloor + 1} - \frac{6}{4} \\ &= \frac{5}{2}\cdot 5^{\left\lfloor\frac{n+3}{3}\right\rfloor} - \frac{6}{4} \end{align}$

che dimostra l'identità con il potere dell'induzione.

Se provi a usarlo su ricorrenze più coinvolte, incontri rapidamente il principale svantaggio di questo metodo: può essere difficile vedere lo schema o condensarlo in una bella forma chiusa.

asintotica

È possibile utilizzare questo metodo anche per gli asintotici. Tieni presente, tuttavia, che devi indovinare le costanti per i simboli di Landau in quanto deve esserci una costante che stabilisce il limite per tutti , cioè il fattore costante non può cambiare durante l'induzione.$n$

Considera, ad esempio, la ricorrenza del runtime di Mergesort, semplificata per il caso di ¹:$n=2^k$

$\qquad \begin{align} T(1) &= T(0) = 0 \\ T(n) &= 2T(n/2) + n-1 \qquad n \geq 1 \end{align}$

Noi indoviniamo che con la costante , che è . Lo dimostriamo per induzione su ; il passaggio induttivo è simile al seguente:$T(n) \in O(n\log n)$$c=1$$T(n) \leq n\log n$$k$

$\qquad \begin{align} T(n) &= 2T(n/2) + n-1 \\ &\leq 2\frac{n}{2}\log \frac{n}{2} + n - 1 \\ &= n\log n - n\log 2 + n - 1 \\ &\lt n \log n \end{align}$

---

1. Per sequenze non decrescenti di naturali, ogni sottosequenza infinita ha la stessa crescita asintotica della sequenza originale.

Il metodo Akra-Bazzi

Il metodo Akra-Bazzi fornisce asintotici per le ricorrenze del modulo: Questo copre le solite ricorrenze di divisione e conquista, ma anche i casi in cui la divisione è disuguale. I "termini fudge" possono soddisfare divisioni che non risultano esatte, per esempio. Le condizioni per l'applicabilità sono:

$$T(x) = \sum_{1 \le i \le k} a_i T(b_i x + h_i(x)) + g(x) \quad \text{for $x \ge x_0$}$$ $h_i(x)$

• Ci sono abbastanza casi base per far ripartire la ricorrenza
• e sono tutte le costanti$a_i$$b_i$
• Per tutti ,$i$$a_i > 0$
• Per tutti ,$i$$0 < b_i < 1$
• $\lvert g(x) \rvert = O(x^c)$ per una costante come$c$$x \rightarrow \infty$
• Per tutti ,$i$$\lvert h_i(x) \rvert = O(x / (\log x)^2)$
• $x_0$ è una costante

Nota che e poiché la funzione dente di sega è sempre tra 0 e 1, sostituendo (o come appropriato) soddisfa le condizioni su .$\lfloor b_i x \rfloor = b_i x - \{b_i x\}$$\{ u \} = u - \lfloor u \rfloor$$\lfloor b_i x \rfloor$$\lceil b_i x \rceil$$h_i$

Trova tale che: Quindi il comportamento asintotico di come è dato da: con "abbastanza grande", cioè c'è modo che per tutti .$p$

$$\sum_{1 \le i \le k} a_i b_i^p = 1$$ $T(x)$$x \rightarrow \infty$ $$T(x) = \Theta \left( x^p \left( 1 + \int_{x_1}^x \frac{g(u)}{u^{p + 1}} du \right) \right)$$ $x_1$$k_1>0$ $$g(x/2) \geq k_1g(x) \tag{2}$$ $x>x_1$

Esempio A

Ad esempio, prendi la ricorsione per , dove : Le condizioni sono soddisfatte, abbiamo bisogno di : Per fortuna, . Quindi abbiamo: $n \ge 5$$T(0) = T(1) = T(2) = T(3) = T(4) = 17$

$$T(n) = 9 T(\lfloor n / 5 \rfloor) + T(\lceil 4 n / 5 \rceil) + 3 n \log n$$ $p$ $$9 \left( \frac{1}{5} \right)^p + \left( \frac{4}{5} \right)^p = 1$$ $p = 2$ $$T(n) = \Theta \left( n^2 \left(1 + \int_3^n \frac{3 u \log u}{u^3} du \right) \right) = \Theta(n^2)$$

poiché con soddisfiamo per tutti . Nota che poiché l'integrale converge anche se usiamo altre costanti, come , come limite inferiore, è legale usare anche quelle; la differenza svanisce in .$k_1 \leq \frac{1}{2}\left(1 - \frac{\log 2}{\log 3}\right)$$(2)$$x\geq 3$$1$$\Theta$

Esempio B

Un altro esempio è il seguente per : Abbiamo , controlla. Abbiamo che esiste un singolo , , che verifica. Supponendo che sia davvero e / o , anche l' implicito controlla. Quindi abbiamo bisogno di: Quindi e: $n \ge 2$

$$T(n) = 4 T(n / 2) + n^2 / \lg n$$ $g(n) = n^2 / \ln n = O(n^2)$$a_1 = 4$$b_1 = 1 / 2$$n / 2$$\lfloor n / 2 \rfloor$$\lceil n / 2 \rceil$$h_i(n)$ $$a_1 b_1^p = 4 \cdot (1 / 2)^p = 1$$ $p = 2$ $$T(n) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{u^2 du}{u^3 \ln u} \right) \right) = \Theta\left(n^2 \left( 1 + \int_2^n \frac{du}{u \ln u} \right) \right) = \Theta(n^2 \ln \ln n)$$ Applichiamo un trucco simile come sopra a il limite inferiore dell'integrale, solo che usiamo perché l'integrale non converge per .$2$$1$

(L'aiuto di maxima con l'algebra è riconosciuto con gratitudine)

sommatorie

Spesso si incontra una ricorrenza della forma dove è monotono. In questo caso, possiamo espandere e quindi dato un valore iniziale , al fine di stimare dobbiamo stimare la somma .

$$T(n) = T(n-1) + f(n),$$ $f(n)$ $$T(n) = T(c) + \sum_{m=c+1}^n f(m),$$ $T(c)$$T(n)$$f(c+1) + \cdots + f(m)$

non decrescente$f(n)$

Quando è monotono non decrescente, abbiamo i limiti ovvi Questi limiti sono i migliori possibili nel senso che sono stretti per alcune funzioni: il limite superiore per funzioni costanti e il limite inferiore per funzioni a gradino ( per e per ). Tuttavia, in molti casi queste stime non sono molto utili. Ad esempio, quando , il limite inferiore è e il limite superiore è , quindi sono abbastanza distanti.$f(n)$

$$f(n) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(n).$$ $f(m) = 1$$m \geq n$$f(m) = 0$$m < n$$f(m) = m$$n$$(n-c)n$

Integrazione

Una stima migliore è data dall'integrazione: Per , questo fornisce il valore corretto della somma fino a termini di ordine inferiore: Quando possiamo calcolare esplicitamente la somma, ma in molti casi il calcolo esplicito è difficile. Ad esempio, quando l'antiderivativo di è , e quindi

$$\int_c^n f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_{c+1}^{n+1} f(x) dx.$$ $f(m) = m$ $$\frac{1}{2} n^2 - \frac{1}{2} c^2 \leq \sum_{m=c+1}^n m \leq \frac{1}{2} (n+1)^2 - \frac{1}{2} (c+1)^2.$$ $f(m) = m$$f(m) = m\log m$$f$$(1/2) x^2\log x - (1/4) x^2$ $$\sum_{m=c+1}^n m\log m = \frac{1}{2} n^2 \log n \pm \Theta(n^2).$$

La formula di Eulero-Maclaurina fornisce stime migliori. Questa formula può essere usata, ad esempio, per dimostrare forme forti della formula di Stirling, stimando la somma .$\log n! = \sum_{m=1}^n \log m$

Non crescente$f(n)$

In alcuni casi, è monotono non crescente. Le stime banali diventano e le stime integrali Ad esempio, per , usando otteniamo $f(n)$

$$f(1) \leq \sum_{m=c+1}^n f(m) \leq (n-c) f(1),$$ $$\int_{c+1}^{n+1} f(x) dx \leq \sum_{m=c+1}^n f(m) \leq \int_c^n f(x) dx.$$ $f(m) = 1/m$$\int f(m) = \log m$ $$\sum_{m=c+1}^n \frac{1}{m} = \log n \pm \Theta(1).$$

Sedgewick e Flajolet hanno svolto un ampio lavoro di combinatoria analitica , che consente di risolvere asintoticamente le ricorrenze utilizzando una combinazione di funzioni generatrici e analisi complesse. Il loro lavoro consente di risolvere automaticamente molte ricorrenze ed è stato implementato in alcuni sistemi di algebra computerizzata.

Questo libro di testo sull'argomento è stato scritto da Flajolet e Sedgewick ed è un riferimento eccellente. Un'esposizione in qualche modo più semplice, orientata verso applicazioni all'analisi algoritmica, è questo testo di Sedgewick e Flajolet.

Spero che sia di aiuto!

Ci possono essere momenti in cui ti imbatti in una strana ricorrenza come questa: Se sei come me, ti renderai conto che non puoi usare il Teorema del Maestro e poi potresti pensare " hmmm ... forse potrebbe funzionare un'analisi dell'albero di ricorrenza ". Quindi ti accorgeresti che l'albero inizia a ingrassare molto velocemente. Dopo alcune ricerche su Internet vedi che il metodo Akra-Bazzi funzionerà! Quindi in realtà inizi a esaminarlo e ti rendi conto che non vuoi davvero fare tutta la matematica. Se sei stato come me fino a questo punto, sarai entusiasta di sapere che c'è un modo più semplice.

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$

---

Teorema della divisione irregolare Parte 1

Sia e costanti positive.$c$$k$

Quindi lascia che siano costanti positive tali che .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i < 1$

Dobbiamo anche ricorrere al modulo (come nel nostro esempio sopra):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Richiesta

Quindi rivendico dove è una costante (ad es. Asintoticamente lineare) e:$T(n) \leq bn$$b$

$$b = \frac{c}{1 - \left(\sum_1^k a_i\right)}$$

Prova per induzione

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c < b < bn$

Induzione : supponiamo vero per qualsiasi , quindi abbiamo$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + b \lfloor a_1 n \rfloor + b \lfloor a_2 n \rfloor + \dots + b \lfloor a_k n \rfloor\\ & \leq cn + b a_1 n + b a_2 n + \dots + b a_k n\\ & = cn + bn \sum_1^k a_i\\[0.5em] & = \frac{cn - cn \sum_1^k a_i }{1 - \left(\sum_1^k a_i\right)} + \frac{cn \sum_1^k a_i}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] & = \frac{cn}{1 - \left(\sum_1^k a_i\right)}\\ & = bn & \square \end{align}$$

Quindi abbiamo .$T(n) \leq bn \implies T(n) = O(n)$

Esempio

$$T(n) = \begin{cases} c & n < 7\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + cn & n\geq 7 \end{cases}$$ Per prima cosa verifichiamo che i coefficienti all'interno delle chiamate ricorsive si a meno di uno: $$\begin{align} 1 & > \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7}\\[0.5em] & = \frac{2}{5} + \frac{4}{7}\\[0.5em] & = \frac{34}{35} \end{align}$$

Successivamente verifichiamo che il caso base è inferiore al massimo degli inversi dei coefficienti:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7\}\\ & = 7 \end{align}$$

Con queste condizioni soddisfatte, sappiamo che dove è una costante uguale a: Pertanto abbiamo: $T(n) \leq bn$$b$

$$\begin{align} b &= \frac{c}{1 - \left(\sum_1^k a_i\right)}\\[0.5em] &= \frac{c}{1 - \frac{34}{35}}\\[0.5em] &= 35c \end{align}$$ $$\begin{align} T(n) & \leq 35cn\\ \land\; T(n) & \geq cn\\ \therefore T(n) & = \Theta(n) \end{align}$$

---

Teorema della divisione irregolare parte 2

Allo stesso modo possiamo dimostrare un limite per quando . La prova seguirà gran parte dello stesso formato:$\sum_1^k = 1$

Sia e costanti positive tali che .$c$$k$$k > 1$

Quindi lascia che siano costanti positive tali che .$\{a_1, a_2, \ldots, a_k\}$$\sum_1^k a_i = 1$

Dobbiamo anche ricorrere al modulo (come nel nostro esempio sopra):

$$\begin{align} T(n) & \leq c & 0 < n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ T(n) & \leq cn + T(a_1 n) + T(a_2 n) + \dots T(a_k n) & n \geq \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \end{align}$$

Richiesta

Quindi rivendico (scegliamo base perché sarà il fattore di ramificazione dell'albero di ricorsione) dove e sono costanti (ad es. Asintoticamente linearitmico ) tale che:$T(n) \leq \alpha n \log_k n + \beta n$$\log$$k$$k$$\alpha$$\beta$

$$\beta = c$$ e $$\alpha = \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}$$

Prova per induzione

Base :$n < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\} \implies T(n) \leq c = \beta < \alpha n \log_k n + \beta n$

Induzione : supponiamo vero per qualsiasi , quindi abbiamo$n' < n$

$$\begin{align} T(n) & \leq cn + T(\lfloor a_1 n \rfloor) + T(\lfloor a_2 n \rfloor) + \dots + T(\lfloor a_k n \rfloor)\\ & \leq cn + \sum_1^k (\alpha a_i n \log_k a_i n + \beta a_i n)\\ & = cn + \alpha n\sum_1^k (a_i \log_k a_i n) + \beta n\sum_1^k a_i\\ & = cn + \alpha n\sum_1^k \left(a_i \log_k \frac{n}{a_i^{-1}}\right) + \beta n\\ & = cn + \alpha n\sum_1^k (a_i (\log_k n - \log_k a_i^{-1})) + \beta n\\ & = cn + \alpha n\sum_1^k a_i \log_k n - \alpha n\sum_1^k a_i \log_k a_i^{-1} + \beta n\\ & = \alpha n\sum_1^k a_i \log_k n + \beta n\\ & = \alpha n \log_k n + \beta n & \square \end{align}$$

Quindi abbiamo .$T(n) \leq \alpha n \log_k n + \beta n \implies T(n) = O(n \log n)$

Esempio

Modifichiamo l'esempio precedente che abbiamo usato solo un pochino:

$$T(n) = \begin{cases} c & n < 35\\ 2T\left(\frac{n}{5}\right) + 4T\left(\frac{n}{7}\right) + T\left(\frac{n}{35}\right)+ cn & n \geq 35 \end{cases}$$

Verifichiamo innanzitutto che i coefficienti all'interno delle chiamate ricorsive si sommano a uno:

$$\begin{align} 1 & = \sum_1^k a_i \\ & = \frac{1}{5} + \frac{1}{5} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{7} + \frac{1}{35}\\[0.5em] & = \frac{2}{5} + \frac{4}{7} + \frac{1}{35}\\[0.5em] & = \frac{35}{35} \end{align}$$

Successivamente verifichiamo che il caso base è inferiore al massimo degli inversi dei coefficienti:

$$\begin{align} n & < \max\{a_1^{-1}, a_2^{-1}, \ldots, a_k^{-1}\}\\ & = \max\{5, 5, 7, 7, 7, 7, 35\}\\ & = 35 \end{align}$$

Con queste condizioni soddisfatte, sappiamo che dove e è una costante uguale a: Pertanto abbiamo: $T(n)\leq \alpha n \log n + \beta n$$\beta = c$$\alpha$

$$\begin{align} b &= \frac{c}{\sum_1^k a_i \log_k a_i^{-1}}\\[0.5em] &= \frac{c}{\frac{2 \log_7 5}{5} + \frac{4 \log_7 7}{7} + \frac{\log_7 35}{35}}\\[0.5em] &\approx 1.048c \end{align}$$ $$\begin{align} T(n) & \leq 1.048cn\log_7 n + cn\\ \therefore T(n) & = O(n \log n) \end{align}$$

Dopo aver ricontrollato questo post, sono sorpreso che non sia ancora arrivato.

Trasformazione del dominio / Modifica delle variabili

Quando si hanno a che fare con le ricorrenze, a volte è utile essere in grado di cambiare il dominio se non è chiaro quanto sarà profondo lo stack di ricorsione.

Ad esempio, prendi la seguente ricorrenza:

$$T(n) = T(2^{2^{\sqrt{\log \log n}}}) + \log \log \log n$$

Come potremmo mai risolvere questo? Potremmo espandere la serie, ma prometto che questo diventerà molto veloce. Consideriamo invece come cambia il nostro input ad ogni chiamata.

Per prima cosa abbiamo:

1. $n$ , quindi
2. $2^{2^{\sqrt{\log \log n}}}$ , quindi
3. $2^{2^{\sqrt{\log \log (2^{2^{\sqrt{\log \log n}}})}}}$ e così via.

L'obiettivo di una trasformazione del dominio sarà ora quello di cambiare la nostra ricorrenza in una equivalente tale che al posto delle transizioni precedenti abbiamo semplicemente .$S(k)$$k, k-1, k-2, \ldots$

Ad esempio, se lasciamo , allora questo è ciò che otteniamo per la nostra ricorrenza precedente: Quindi possiamo semplicemente riscriverlo come: Quindi tutto ciò che devi fare è riconvertire in per ottenere: $n = 2^{2^{2^{2^k}}}$

$$\begin{align*} T(2^{2^{2^{2^k}}}) & = T(2^{2^{\sqrt{\log \log 2^{2^{2^{2^{k}}}}}}}) + \log \log \log (2^{2^{2^{2^{k}}}})\\ & = T(2^{2^{2^{2^{k-1}}}}) + 2^k \end{align*}$$ $$T(k) = T(k-1) + 2^k = \sum_{i = 1}^{k} 2^k = 2^{k+1} - 1$$ $k$$n$ $$T(n) = 2^{(\log \log \log \log n) + 1} - 1 = O(\log \log \log n)$$

---

Con questo esempio, ora possiamo vedere il nostro obiettivo.

Supponiamo che Per alcune costanti e funzioni e .

$$T(n) = \begin{cases} h(1) & n = 1\\ a\cdot T(f(n)) + h(n) & \mathrm{otherwise} \end{cases}$$ $a$$f(n)$$h(n)$

Ora stiamo provando a trovare alcune funzioni e tale che $g(k) = n$$f(g(k)) = g(k-1)$

$$\begin{align*} T(g(k)) &= aT(f(g(k))) + h(g(k))\\ & = a\cdot T(g(k-1)) + h(g(k)) \end{align*}$$

Più in generale, vogliamo dove è l'applicazione ripetuta di su , volte. (es. ). Ciò consentirà a di agire come funzione "iterante". Dove, a profondità di ricorsione, il lavoro svolto è semplicemente .$f^{(i)}(n) = g(k - i)$$f^{(i)}(n)$$f$$n$$i$$f^{(2)}(n) = f(f(n))$$g(k)$$i$$h(g(k-i))$

Quindi possiamo facilmente convertirlo in modo che Quindi dobbiamo solo preoccuparci sommando per tutti i fino a un dato caso base. Cioè, $S(k) = T(g(k))$

$$S(k) = a\cdot S(k-1) + h(g(k))$$ $h(g(k))$$k$ $$S(k) = \sum_{i = g^{-1}(1)}^{k} a^{k - i} h(g(i))$$

Se siamo in grado di determinare per qualche funzione chiusa , allora possiamo determinare come $S(k) = \gamma(k)$$\gamma$$T(n)$

$$T(n) = \gamma( g^{-1}(n))$$

Quindi usiamo questo per ottenere un limite su tramite uno degli altri metodi sopra. Ovviamente potresti modificare un po 'questo metodo secondo le tue specifiche, ma in generale stai cercando di trovare una funzione iterante per trasformare in una semplice ricorsione.$T(n)$$g(k)$$T(n)$

Non conosco un modo esatto per determinare a questo punto, ma continuerò a pensarci e aggiornerò se diventa più chiaro (o se qualche commentatore ha qualche consiglio!). Ho trovato principalmente le mie funzioni attraverso tentativi ed errori in passato (vedi qui , qui , qui e qui per esempi).$g(k)$$g(k)$

C'è un altro approccio che funziona per semplici relazioni di ricorrenza: chiedi a Wolfram Alpha di risolvere la ricorrenza per te.

Ad esempio, prova a digitare f(0)=0, f(1)=1, f(n)=f(n-1)+f(n-2)in Wolfram Alpha. Otterrai una soluzione, con un collegamento ai numeri di Fibonacci. Oppure prova f(1)=1, f(n)=f(n-1)+no f(1)=1, f(n)=2*f(n-1)+3*no f(n)=f(n-1) + 2 f(n-2), f(1)=1, f(2)=3per altri esempi. Tuttavia, attenzione: Wolfram Alpha può risolvere alcune ricorrenze molto semplici, ma cade a pezzi per quelle più complesse.

Questo approccio evita la necessità di qualsiasi pensiero, che può essere visto come un bug o una funzionalità.

Il caso 2 del teorema principale, come di solito indicato, gestisce solo le ricorrenze della forma in cui per . Il seguente teorema, tratto da un volantino di Jeffrey Leon, fornisce la risposta per negativo :$T(n) = aT(n/b) + f(n)$$f(n) = \Theta(n^{\log_ab}\log^k n)$$k \geq 0$$k$

Considera la ricorrenza con un caso base appropriato.$T(n) = a T(n/b) + f(n)$

1. Se per allora .c < 0 T ( n ) = Θ ( n log b a$f(n) = O(n^{\log_b a} \log^{c-1} n)$$c < 0$$T(n) = \Theta(n^{\log_b a})$

2. Se per allora .$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$T ( n ) = Θ ( n log b a log log n $c = 0$$T(n) = \Theta(n^{\log_b a} \log\log n)$

3. Se per allora ).c > 0 T ( n ) = Θ ( n log b a log c$f(n) = \Theta(n^{\log_b a} \log^{c-1} n)$$c > 0$$T(n) = \Theta(n^{\log_b a} \log^c n$

La dimostrazione usa il metodo della sostituzione ripetuta, come ora abbozziamo. Supponiamo che e . Quindi per una potenza di , Ora consideriamo i casi uno per uno. Quando , la serie converge, e quindi . Quando , la somma è la somma armonica , e così$f(n) = n^{\log_b a} \log_b^{c-1} n$$T(1) = 0$$n$$b$

$$T(n) = \sum_{i=0}^{\log_b n-1} a^i (nb^{-i})^{\log_b a} \log_b^{c-1} (nb^{-i}) = \\ \sum_{i=0}^{\log_b n-1} n^{\log_b a} (\log_b n - i)^{c-1} = n^{\log_b a} \sum_{j=1}^{\log_b n} j^{c-1}.$$ $c < 0$$\sum_{j=0}^\infty j^{c-1}$$T(n) = \Theta(n^{\log_b a})$$c = 0$$H_{\log_b n} = \log(\log_b n) + O(1)$$T(n) = \Theta(n^{\log_b a} \log \log n)$ . Quando , possiamo approssimare la somma usando un integrale: e quindi .$c > 0$T( $$\sum_{j=1}^{\log_b n} \approx \int_0^{\log_b n} x^{c-1} \, dx = \left. \frac{x^c}{c} \right|_0^{\log_b n} = \frac{\log_b^c n}{c},$$ $T(n) = \Theta(n^{\log_b a} \log^c n)$