Come funzionano effettivamente le espressioni regolari?

Supponi di avere un documento con un saggio scritto. Vuoi analizzare questo saggio per selezionare solo determinate parole. Freddo.

L'uso di un'espressione regolare è più veloce dell'analisi del file riga per riga e parola per parola alla ricerca di una corrispondenza? In tal caso, come funziona? Come puoi andare più veloce di guardare ogni parola?

Come funziona?

Dai un'occhiata alla teoria degli automi

In breve, ogni espressione regolare ha un automa finito equivalente e può essere compilata e ottimizzata in un automa finito. Gli algoritmi coinvolti possono essere trovati in molti libri compilatori. Questi algoritmi sono usati da programmi unix come awk e grep.

Tuttavia, la maggior parte dei linguaggi di programmazione moderni (Perl, Python, Ruby, Java (e linguaggi basati su JVM), C #) non usano questo approccio. Usano un approccio ricorsivo di backtracking, che compila un'espressione regolare in un albero o una sequenza di costrutti che rappresentano vari sottogruppi dell'espressione regolare. La maggior parte delle sintassi moderne di "espressione regolare" offrono riferimenti indietro che sono al di fuori del gruppo di linguaggi regolari (non hanno rappresentazione in automi finiti), che sono banalmente implementabili in un approccio ricorsivo al backtracking.

L'ottimizzazione di solito produce una macchina a stati più efficiente. Ad esempio: considera aaaab | aaaac | aaaad, un normale programmatore può ottenere l'implementazione della ricerca semplice ma meno efficiente (confrontando tre stringhe separatamente) in dieci minuti; ma rendendolo conto equivale a aaaa [bcd], una ricerca migliore può essere fatta cercando i primi quattro "a", quindi testando il quinto carattere contro [b, c, d]. Il processo di ottimizzazione è stato uno dei miei lavori di compilazione a casa molti anni fa, quindi presumo che lo sia anche nella maggior parte dei moderni motori di espressione regolare.

D'altra parte, le macchine a stati hanno qualche vantaggio quando accettano stringhe perché usano più spazio rispetto a una "banale implementazione". Si consideri un programma per non sfuggire alle virgolette sulle stringhe SQL, ovvero: 1) inizia e termina con virgolette singole; 2) le virgolette singole sfuggono a due virgolette singole consecutive. Quindi: input ['a' ''] dovrebbe produrre output [a ']. Con una macchina a stati, le virgolette singole consecutive sono gestite da due stati. Questi due stati hanno lo scopo di ricordare la cronologia di input in modo tale che ciascun carattere di input venga elaborato esattamente una sola volta, come illustrato di seguito:

...
S1->'->S2
S1->*->S1, output *, * can be any other character 
S2->'->S1, output '
S2->*->END, end the current string

Quindi, secondo me, l'espressione regolare può essere più lenta in alcuni casi banali, ma di solito più veloce di un algoritmo di ricerca creato manualmente, dato che l'ottimizzazione non può essere eseguita in modo affidabile dall'uomo.

(Anche in casi banali come la ricerca di una stringa, un motore intelligente può riconoscere il singolo percorso nella mappa degli stati e ridurre quella parte a un semplice confronto di stringhe ed evitare la gestione degli stati.)

Un motore specifico da un framework / libreria può essere lento perché il motore fa molte altre cose di cui un programmatore di solito non ha bisogno. Esempio: la classe Regex in .NET crea un gruppo di oggetti tra cui Match, Gruppi e Catture.

Le espressioni regolari sembrano veloci perché hai computer veloci.

Negli anni '80, quando 1 MIPS era un computer veloce, le espressioni regolari rappresentavano un settore piuttosto preoccupante, preoccupato e di ricerca perché erano lente e brutte e richiedevano un intenso calcolo. Lo sviluppo di algoritmi intelligenti è stato seguito e ha aiutato, ma per tutti gli scopi pratici in questi giorni stai vedendo il miracolo delle macchine veloci incartare sulle crepe.

Perché pensi che siano più veloci della ricerca del documento?

Ci sono alcuni trucchi che puoi fare, ad es. se stai cercando una parola da 10 lettere che inizia con A e termina con B, quindi se trovi A e il carattere 9 posizioni più avanti non è B, puoi saltarne alcune. vedi algoritmo Knuth – Morris – Pratt

Cosa rende veloce un'espressione regolare?

In realtà, non lo sono. Non molto. È solo che non sono abbastanza lenti da essere notati dalla maggior parte di noi. Ai vecchi tempi lenti, era molto più evidente.

Inoltre, non sono lo strumento giusto per ogni lavoro: il martello .

I regEx sono comparativamente più veloci nel codice che potresti scrivere perché la maggior parte delle biblioteche sono il risultato di molti sviluppatori che trascorrono molti anni ottimizzandoli per ottenere il massimo delle prestazioni possibili. È difficile per un singolo individuo duplicarlo nel proprio codice di ricerca.

La tua premessa di base è sbagliata.

Le espressioni regolari non sono sempre più veloci di una semplice ricerca. Tutto dipende dal contesto. Dipende dalla complessità dell'espressione, dalla lunghezza del documento da cercare e da tutta una serie di fattori.

Quello che succede è che l'espressione regolare verrà compilata in un semplice parser (che richiede tempo). Pertanto, se il documento è di piccole dimensioni, questo tempo extra supererà qualsiasi vantaggio. Inoltre, se l'espressione è semplice, allora l'espressione regolare non ti darà alcun vantaggio.

Se l'espressione è complessa e il documento è sufficientemente grande, puoi ottenere alcuni vantaggi. Se questo sia abbastanza significativo da considerare le espressioni regolari più veloci dipenderà molto dallo sforzo che vuoi fare nella ricerca (anche le espressioni regolari possono avere alcune ottimizzazioni che una biblioteca potrebbe fornire che non avresti pensato a te stesso).

Quello che sto cercando di dire è che non esiste una risposta generalizzata e generale. Se avessi un'espressione specifica (e una dimensione nota del documento), allora potresti dire derivare una risposta sì / no dal fatto che l'espressione sarà più veloce di una semplice ricerca (e perché).

Il vero vantaggio delle espressioni regolari è che una volta capito come scriverle, la capacità di esprimere una ricerca complessa in modo conciso. Poiché si tratta di un modulo generalizzato, è quindi possibile creare strumenti che consentano le ricerche in modo utile nel caso generale; di solito è veloce almeno quanto una semplice ricerca (su documenti di dimensioni minime; su documenti più piccoli di questo non importerebbe poiché anche se è più lento, è ancora abbastanza veloce).

È plausibile che in alcuni linguaggi di alto livello (forse javascript), l'uso di una libreria regex implementata in un linguaggio di basso livello (forse C) sarebbe più veloce della scrittura della logica parser nel linguaggio di alto livello.

Plausibile - Non ho idea se questo sia mai realmente il caso.