Le funzioni sono sempre asintoticamente comparabili?

15

Quando confrontiamo la complessità di due algoritmi, di solito accade che $f(n) = O(g(n))$ o $g(n) = O(f(n))$ (possibilmente entrambi), dove $f$ e $g$ sono i tempi di esecuzione (ad esempio) dei due algoritmi.

È sempre così? Cioè, almeno una delle relazioni $f(n) = O(g(n))$ e $g(n) = O(f(n))$ sempre valore, vale a dire per le funzioni generali $f$ , $g$ ? In caso contrario, quali ipotesi dobbiamo fare e (perché) va bene quando parliamo di tempi di esecuzione dell'algoritmo?

asymptotics mathematical-analysis

— Raffaello
fonte

21

Non tutte le coppie di funzioni sono paragonabili alla notazione ; considerare le funzioni e Inoltre, funzioni come si presentano effettivamente come tempi di esecuzione degli algoritmi. Considera l'evidente algoritmo di forza bruta per determinare se un dato numero intero è primo: $O(\cdot)$ $f(n) = n$

g (n) = {\begin{cases} 1 & if n is odd, \\ n^{2} & if n is even . \end{cases}

$g(n) = \begin{cases} 1 & \text{if $n$ is odd}, \\\ n^2 & \text{if $n$ is even}. \end{cases}$

g (n)

$g(n)$

n

$n$

IsPrime(n):
  for i ← 2 to (n-1)
     if i·⌊n/i⌋ = n
        return False
  return True

Questo algoritmo richiede operazioni aritmetiche quando è pari, $\Theta(1)$ $n$ operazioni quandoè composto, maoperazioni quandoè primo. Pertanto, formalmente, questo algoritmo èincomparabilecon un algoritmo che utilizza $O(\sqrt{n})$ $n$ $\Theta(n)$ $n$ operazioni aritmetiche perogni. $\sqrt{n}$ $n$

Il più delle volte quando analizziamo gli algoritmi, vogliamo solo un limite superiore asintotico della forma per una funzione relativamente semplice . Ad esempio, la maggior parte dei libri di testo riporta semplicemente (e correttamente) l' esecuzione in operazioni aritmetiche . Le funzioni tipiche del limite superiore sono prodotti di esponenziali, polinomi e logaritmi (anche se occasionalmente si presentano anche bestie più esotiche come fattoriali e logaritmi iterati ). Non è difficile dimostrare che due di queste funzioni siano comparabili. $O(f(n))$ $f$ IsPrime(n) $O(n)$

Vedi anche questa domanda MathOverflow .

— jeffe
fonte

7

Da Wikipedia, definizione della notazione O grande:

se e solo se esiste una costante positiva M tale che per tutti i valori sufficientemente grandi di , è al massimo M moltiplicato per in valore assoluto. Cioè, se e solo se esiste un numero reale positivo e un numero reale tale che $x$ $f(x)$ $g(x)$ $f(x) \in O(g(x))$ $M$ $x_0$

$|f(x)|<= M |g(x)| \quad \text{for all} \; x > x_0$

Cosa succede per le funzioni che non convergono (in una costante né in infinito)?

Guarda le funzioni e $f(x) = |xsin(x)|$ $g(x) = 10$

per ogni , c'è qualche , tale che , quindi - quindi per ogni - produrrà falso, e $x_0$ $x > x0$ $x = k\pi$ $f(x) = 0$ $M$ $Mf(x) > g(x)$ $g(x) \; \not\in O(f(x))$

Tuttavia, è facile vedere che non è delimitato anche da alcuna costante, quindi per ogni , , c'è un po ' tale che produrrà anche falso, e $|xsin(x)|$ $M$ $x_0$ $x > x_0$ $f(x) < Mg(x)$ $f(x) \not\in O(g(x))$

$Mf(x)$ $g(x)$ $g(x) = \log(x)$

— amit
fonte

6

Ecco una coppia di funzioni monotoniche che non sono asintoticamente comparabili. Ciò è rilevante perché la maggior parte delle complessità che sorgono nella pratica sono in effetti monotone.

f (x) = Γ (⌊ x ⌋ + 1) = ⌊ x ⌋!

$f(x) = \Gamma( \lfloor x \rfloor + 1 ) = \lfloor x \rfloor !$

g (x) = Γ (⌊ x - 1 / 2 ⌋ + 3 / 2)

$g(x) = \Gamma( \lfloor x-1/2 \rfloor + 3/2 )$

Here, $\Gamma$ is the gamma function. The second function is specially constructed to be very similar to the factorial, just "sampled" at slightly offset points in the gamma function. The functions cross each other periodically in such a way that neither is asymptotically bound by the other.

— Ambroz Bizjak
fonte

4

Let $\mathcal{L}$ be the class of functions obtained from the identity function and constants using the following operations: addition, subtraction, multiplication, division, logarithm and exponential. For example, $\exp(2\sqrt{\log x + \log\log x})/x^2$ . Hardy proved that for every two functions $f,g \in \mathcal{L}$ which are positive and tend to infinity, one of the following is true: $f = o(g)$ , $f = \omega(g)$ , $f/g$ tends to a constant. See page 18 of his book "Orders of infinity".

The upshot is that any two "simple" functions occurring in the analysis of algorithm are comparable. Here "simple" means that there is no definition by cases (other than finitely many base cases), and no surprising functions appear, such as the inverse Ackermann function which sometimes figures in running times.

— Yuval Filmus
fonte

Nice! It is noteworthy, though, that periodic elements occur frequently in average case analysis (of d&c algorithm). The one I know are bound on both sides by constants, so they don't hurt asymptotic comparability.

— Raphael