Qual è la qualità effettiva delle traduzioni automatiche?

Fino ad oggi, come laico dell'intelligenza artificiale, sono confuso dai miglioramenti promessi e raggiunti della traduzione automatica.

La mia impressione è: c'è ancora molta strada da fare. Oppure ci sono altre spiegazioni per cui le traduzioni automatizzate (offerte e fornite ad esempio da Google) di articoli Wikipedia abbastanza semplici continuano a leggere e sembrano principalmente sciocche, difficilmente leggibili e solo in parte molto utili e utili?

Può dipendere dalle preferenze personali (riguardo a leggibilità, disponibilità e utilità), ma le mie aspettative personali sono deluse.

Al contrario: le traduzioni di Google sono comunque leggibili, utili e utili per la maggior parte degli utenti ?

O Google ha motivi per conservare i suoi risultati (e non mostrare agli utenti il ​​meglio che possono mostrare)?

Risultato preliminare: siamo ancora lontani dall'essere in grado di parlare con intelligenze artificiali su un piano di parità e comprensione - solo a livello di stringhe. Quindi perché dovremmo avere paura? Perché sanno più di quanto sappiamo - ma non lo sappiamo?

Chi ha affermato che la traduzione automatica è valida come un traduttore umano? Per me, come traduttore professionista che vive da 35 anni nella traduzione, MT significa che la mia produzione quotidiana di traduzione di qualità umana è cresciuta del fattore da 3 a 5, a seconda della complessità del testo di partenza.

Non posso essere d'accordo sul fatto che la qualità di MT diminuisca con la lunghezza della lingua straniera inserita. Ciò era vero per i vecchi sistemi con analisi semantiche e grammaticali. Non credo di conoscere tutti i vecchi sistemi (conosco Systran, uno strumento trash di Siemens che è stato venduto da una società all'altra come un regalo di Danaer, XL8, Personal Translator e Translate), ma anche un sistema professionale in cui ho investito 28.000 DM (!!!!) fallito miseramente.

Ad esempio, la frase:

In questa calda giornata estiva ho dovuto lavorare ed è stato un dolore nel culo.

può essere tradotto utilizzando diversi strumenti MT in tedesco.

Traduttore personale 20 :

Auf diesem heißen Sommertag musste ich arbeiten, und es war ein Schmerz im Esel.

Richiedi :

Una storia sommersa musste ich arbeiten, e la guerra in Schmerz im Esel.

DeepL :

Una storia sommersa musste ich arbeiten und es war eine Qual.

Google:

Una storia sommersa musste ich arbeiten e la guerra in Schmerz im Arsch.

Oggi di solito Google mi offre traduzioni leggibili e quasi corrette e DeepL è ancora meglio. Proprio stamattina ho tradotto 3500 parole in 3 ore e il risultato è impeccabile anche se il testo sorgente era pieno di errori (scritto dal cinese).

Le traduzioni di Google possono essere utili, soprattutto se sai che le traduzioni non sono perfette e se vuoi solo avere un'idea iniziale del significato del testo (le cui traduzioni di Google a volte possono essere abbastanza fuorvianti o errate). Non consiglierei il traduttore di Google (o qualsiasi altro traduttore non umano) per eseguire una traduzione seria, a meno che non sia forse una frase o una parola comune, non implichi testi molto lunghi e un linguaggio informale (o slang), le traduzioni coinvolgono il Lingua inglese o non hai accesso a un traduttore umano.

$0$$100$$100$

Nel documento Rendere l'IA ancora una volta significativa , gli autori discutono anche della difficoltà del compito di traduzione (che si ritiene sia un problema completo di IA ). Citano anche il trasformatore (un altro modello di traduzione automatica all'avanguardia), che ottiene risultati piuttosto scarsi (valutati usando la metrica BLEU).

Per concludere, la traduzione automatica è un problema difficile e gli attuali sistemi di traduzione automatica sicuramente non funzionano come un traduttore umano professionista.

Hai fatto molte domande, alcune delle quali non è possibile rispondere in modo definitivo. Per dare un'idea della qualità (e della sua storia) delle traduzioni automatiche, mi piace fare riferimento a Christopher Manning come "punto di riferimento a una frase" come presentato nella sua lezione . Contiene un esempio dal cinese all'inglese che viene confrontato con l'output di Google Translate. La traduzione corretta per l'esempio sarebbe:

Nel 1519, seicento spagnoli sbarcarono in Messico per conquistare l'Impero azteco con una popolazione di pochi milioni. Hanno perso i due terzi dei loro soldati nel primo scontro.

Google Translate ha restituito le seguenti traduzioni.

2009 1519 600 spagnoli sbarcarono in Messico, milioni di persone per conquistare l'impero azteco, i primi due terzi dei soldati contro la loro perdita.

2011 1519 600 spagnoli sbarcarono in Messico, milioni di persone per conquistare l'impero azteco, la perdita iniziale di soldati, due terzi dei loro scontri.

2013 1519 600 spagnoli sbarcarono in Messico per conquistare l'impero azteco, centinaia di milioni di persone, la perdita iniziale del confronto dei soldati di due terzi.

2015 1519 600 spagnoli sbarcarono in Messico, milioni di persone per conquistare l'impero azteco, i primi due terzi della perdita di soldati che si scontrano.

2017 Nel 1519, 600 spagnoli sbarcarono in Messico, per conquistare i milioni di persone dell'impero azteco, il primo scontro che uccisero per due terzi.

Se Google conserva o "nasconde" i risultati migliori: ne dubito. Ci sono molti eccellenti ricercatori che lavorano nel campo dell'elaborazione del linguaggio naturale (PNL). Se Google avesse un "risultato più grande" per la traduzione, i ricercatori lo scopriranno prima o poi. (Perché Google nasconderebbe comunque il loro "più grande successo"? Sembrano vedere i vantaggi dell'open source, vedi Transformer [1] o BERT [2])

NB. Per un elenco aggiornato di algoritmi all'avanguardia in NLP, consultare la classifica SQuAD2.0 .

[1] Vaswani, Ashish, et al. "L'attenzione è tutto ciò di cui hai bisogno." Progressi nei sistemi di elaborazione delle informazioni neurali. 2017.

[2] Devlin, Jacob, et al. "Bert: pre-training di trasformatori bidirezionali profondi per la comprensione del linguaggio." arXiv prestampa arXiv: 1810.04805 (2018).

Dipende molto dalla coppia di lingue e dall'argomento del contenuto. Tradurre in / dall'inglese in qualsiasi altra lingua di solito è il migliore supportato. La traduzione da e verso le lingue popolari funziona meglio, ad esempio, tradurre dall'inglese al rumeno è una traduzione più scadente dell'inglese al russo. Ma tradurre dall'inglese al russo o rumeno è meglio che tradurre il russo in rumeno. E tradurre rumeno in inglese è meglio che tradurre inglese in rumeno.

Ma se sei abituato a lavorare con i traduttori e hai familiarità con le lingue, gli errori di traduzione e l'argomento, è facile capire cosa si supponesse ci fosse. E, a quel punto, a volte è più facile leggere qualcosa tradotto nella tua lingua madre per una rapida scansione piuttosto che leggerlo in una seconda lingua.

Le lingue meno popolari (per la traduzione non necessariamente in numero di parlanti) sono molto più vicine alle traduzioni letterali solo leggermente migliori di quelle che faresti personalmente usando un dizionario per due lingue che non conosci.

Sbaglio e le traduzioni di Google sono comunque leggibili, utili e utili per la maggior parte degli utenti?

Sì, sono in qualche modo utili e ti consentono di tradurre più velocemente.

O Google ha motivi per conservare i suoi risultati migliori (e non mostrare agli utenti il ​​meglio che possono mostrare)?

Forse non lo so. Se cerchi informazioni, Google fa davvero un sacco di cose orribili e stupide, come imparare da ciò che gli utenti dicono su Internet, prendendo dati non idonei come set di dati di input attendibili.

Ci scusiamo per non aver scritto in inglese. Puoi trovare la traduzione adattata qui:

Per dare agli interessati un'idea della qualità di MT (DeepL), vedi questo esempio da un testo a cui stavo lavorando stamattina (6.300 parole, iniziato alle 9:00, consegna oggi intorno alle 13:00 e ancora trovare il tempo per questo post). Stavo lavorando su questa frase (201 parole) quando ho pubblicato il mio commento.

o qualsiasi processo che viene eseguito o attivato mentre non si è connessi a questo sito Web o che interferisce in altro modo con il corretto funzionamento o che carica un carico irragionevole sull'infrastruttura di questo sito Web; o (e) utilizzare software, dispositivi o altri processi manuali o automatizzati per "strisciare", "raschiare" o "spider" qualsiasi pagina di questo sito Web; oppure (f) decompilare, decodificare o tentare in altro modo di ottenere il codice sorgente di questo sito Web. "

DeepL restituisce questo:

Sie versichern, garantieren und verpflichten sich gegenüber ABC, dass Sie dies nicht tun werden: (a) betrügerische, missbräuchliche oder anderweitig illegale Aktivitäten durchzuführen, die Anlass für die Beendigung Ihres Rechtsinung / it Zug oder (b) Mitteilungen oder Aufforderungen, die dazu bestimmt sind oder sind, Passwörter, Konten oder Private Informationen von anderen Nutzern dieser Sito web zu erhalten, zu posten oder zu übertragen o post post oder zu posten oder zu übertragen; oder (c) die Sicherheit eines Computernetzwerks verletzen, Passwörter oder Sicherheitsverschlüsselungscodes knacken, illegales Materiale (einschließlich Materiale, das als bedrohlich oder obszön angesehen werden kann) übertragen oder speichern odertichen die ausdrücklich verboten sind; oder (d) Mailliste, Listenserver o jede andere Form von Auto-Responder oder "Spam" auf dieer Sito Web o Prozesse, die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieer Sito Web, non incluso e aggiornato Belastung der Infrastruktur dieser Sito web stören; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sito Web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Sito web zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieer Sito web ufficiale, oder die anderweitig das ordnungsgemäße Funktionieren oder eine unangemessene Belastung der Infrastruktur dieser Sito web aperto; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sito Web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Sito web zu erhalten. die ausgeführt werden oder aktiviert werden, während Sie nicht auf dieer Sito web ufficiale, oder die anderweitig das ordnungsgemäße Funktionieren oder eine unangemessene Belastung der Infrastruktur dieser Sito web aperto; oder (e) manuelle oder automatisierte Software, Geräte oder andere Prozesse verwenden, um eine Seite dieser Sito Web zu "crawlen", zu kratzen, zu spinnen oder zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Sito web zu erhalten. zu kratzen, zu spinnen o zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Sito web zu erhalten. zu kratzen, zu spinnen o zu spinnen; oder (f) dekompilieren, zurückzuentwickeln oder anderweitig zu versuchen, den Quellcode dieser Sito web zu erhalten.

Mi ci sono voluti dai 5 ai 10 minuti per modificare questo paragrafo.

Come traduttore, so di non poter fare affidamento sulla traduzione automatica, ma ho appreso le specifiche e le capacità dei diversi sistemi nel tempo e so a cosa prestare attenzione.

MT mi aiuta molto nel mio lavoro.

Questa non sarà tanto una risposta quanto un commento.

La qualità dipende da diverse cose, tra cui (come Aaron ha detto sopra) 1) la coppia di lingue e 2) l'argomento, ma anche 3) i generi e 4) lo stile dell'originale e 5) la quantità di testo parallelo che hai per addestrare il sistema MT.

Per preparare il terreno, praticamente tutti i MT in questi giorni si basano su testi paralleli, cioè un testo in due lingue diverse, con una presumibilmente una traduzione dell'altra (o entrambe una traduzione di una terza lingua); e potenzialmente usando dizionari (forse assistiti da processi morfologici) come backoff quando i testi paralleli non contengono parole particolari.

Inoltre, come altri hanno già detto, un sistema MT non comprende in alcun modo i testi che sta traducendo; vede solo stringhe di caratteri e sequenze di parole composte da caratteri e cerca stringhe e sequenze simili nei testi tradotti in precedenza. (Ok, è leggermente più complicato di così, e ci sono stati tentativi di ottenere la semantica nei sistemi computazionali, ma per ora sono principalmente stringhe.)

1) Le lingue variano. Alcune lingue hanno molta morfologia, il che significa che fanno le cose con una sola parola che altre lingue fanno con più parole. Un semplice esempio potrebbe essere lo spagnolo "cantaremos" = inglese "canteremo". E una lingua può fare cose con cui l'altra lingua non si preoccupa nemmeno, come la distinzione informale / formale (tu / usted) in spagnolo, a cui l'inglese non ha un equivalente. Oppure una lingua può fare cose con la morfologia che un'altra lingua fa con l'ordine delle parole. O la sceneggiatura che la lingua usa potrebbe non segnare nemmeno i confini delle parole (cinese e pochi altri). Più le due lingue sono diverse, più difficile sarà la traduzione da parte del sistema MT. I primi esperimenti in MT statistica sono stati fatti tra francese e inglese,

2) Argomento: se nella Bibbia ci sono testi paralleli (il che è vero per quasi ogni coppia di lingue scritte) e si allena il proprio sistema MT da quelli, non aspettarsi che funzioni bene sui testi di ingegneria. (Beh, la Bibbia è comunque una quantità relativamente piccola di testo secondo gli standard di addestramento dei sistemi MT, ma fingi :-).) Il vocabolario della Bibbia è molto diverso da quello dei testi di ingegneria, così come la frequenza di vari grammatica costruzioni. (La grammatica è essenzialmente la stessa, ma in inglese, ad esempio, si ottiene molta più voce passiva e più nomi composti nei testi scientifici e ingegneristici.)

3) Generi: se il tuo testo parallelo è tutto dichiarativo (come i manuali dei trattori, diciamo), provare a usare il sistema MT risultante nella finestra di dialogo non ti darà buoni risultati.

4) Stile: pensa a Hilary contro Donald; erudito vs. popolare. Allenarsi su uno non otterrà buoni risultati sull'altro. Allo stesso modo addestrare il sistema MT su romanzi per adulti e usarlo su libri per bambini.

5) Coppia di lingue: l'inglese ha molti testi e le possibilità di trovare testi in qualche altra lingua che sono paralleli a un dato testo inglese sono molto più alte delle possibilità di trovare testi paralleli, per esempio, in russo e Igbo. (Detto questo, potrebbero esserci delle eccezioni, come le lingue dell'India.) Come generalizzazione generale, tanto più testi paralleli devi addestrare il sistema MT, tanto migliori saranno i risultati.

In breve, la lingua è complicata (motivo per cui la adoro - sono un linguista). Quindi non sorprende che i sistemi MT non funzionino sempre bene.

A proposito, i traduttori umani non sempre fanno altrettanto bene. Un decennio o due fa, stavo ottenendo traduzioni di documenti da traduttori umani in inglese, da utilizzare come materiale di formazione per i sistemi MT. Alcune delle traduzioni erano difficili da capire, e in alcuni casi in cui ottenevamo traduzioni da due (o più) traduttori umani, era difficile credere che i traduttori avessero letto gli stessi documenti.

E infine, non c'è (quasi) mai solo una traduzione corretta; ci sono molti modi per tradurre un passaggio, che può essere più o meno buono, a seconda delle caratteristiche (correttezza grammaticale, stile, consistenza d'uso, ...) che desideri. Non esiste una misura facile di "precisione".

Sorprendentemente, tutte le altre risposte sono molto vaghe e provano ad avvicinarsi al traduttore umano POV. Passiamo all'ingegnere ML.

Quando si crea uno strumento di traduzione, una delle prime domande che dovremmo considerare è "Come misuriamo che il nostro strumento funzioni?" .

Questo è essenzialmente ciò che l'OP chiede.

Ora questo non è un compito facile (alcune altre risposte spiegano perché). C'è un articolo di Wikipedia che menziona diversi modi per valutare i risultati della traduzione automatica - esistono punteggi sia umani che automatici (come BLEU , NIST , LEPOR ).

Con l'aumento delle tecniche di rete neurale, questi punteggi sono migliorati in modo significativo.

La traduzione è un problema complesso. Ci sono molte cose che possono andare bene (o sbagliato) e il sistema di traduzione al computer spesso ignora alcune delle sottigliezze, che si distingue per un oratore umano.

Penso che se dobbiamo pensare al futuro, ci sono alcune cose su cui possiamo fare affidamento:

• Le nostre tecniche stanno migliorando, sono più conosciute e testate. Ciò migliorerà la precisione a lungo termine.
• Stiamo sviluppando nuove tecniche che possono tenere conto delle variabili precedentemente ignorate o semplicemente fare un lavoro migliore.
• Molti dei modelli di traduzione attualmente esistenti vengono spesso "riutilizzati" per tradurre altre lingue (ad esempio, prova a tradurre "JEDEN" dal polacco al cinese (tradizionale) utilizzando Google Translator: finirai con "ONE", che è una prova che sottolinea il fatto che Google traduca il polacco in inglese e quindi l'inglese in cinese). Questo ovviamente non è un buon approccio - perderai alcune informazioni nel processo - ma è uno che funzionerà ancora, quindi aziende come Google lo usano per lingue in cui non hanno abbastanza forza lavoro o dati. Con il tempo, appariranno modelli più specializzati, che miglioreranno la situazione.
• Inoltre, come indicato in precedenza, sempre più dati aiuteranno solo a migliorare la traduzione automatica.

Riassumendo, questo complesso problema, sebbene non risolto, è certamente un buon metodo e consente alcuni risultati impressionanti per coppie linguistiche ben studiate.

"O Google ha ragioni per conservare i suoi risultati (e non mostrare agli utenti il ​​meglio che possono mostrare)"

Se lo fossero, ciò che trattengono sarebbe sorprendente . Google pubblica numerosi articoli di spicco nell'elaborazione del linguaggio naturale, inclusi quelli che ottengono risultati allo stato dell'arte o fanno importanti scoperte concettuali . Hanno anche rilasciato set di dati e strumenti molto utili . Google è una delle poche aziende là fuori che non sta solo utilizzando l'avanguardia della ricerca attuale, ma sta contribuendo attivamente alla letteratura.

La traduzione automatica è solo un problema difficile. Un buon traduttore umano deve essere fluente in entrambe le lingue per fare bene il lavoro. Ogni lingua avrà i suoi modi di dire e significati non letterali o dipendenti dal contesto. Lavorare da un dizionario in doppia lingua produrrebbe risultati terribili (per un essere umano o un computer), quindi abbiamo bisogno di addestrare i nostri modelli su corpora esistenti che esistono in più lingue al fine di imparare come vengono effettivamente usate le parole (nb frase compilata a mano le tabelle di traduzione possono essere usate come caratteristiche ; semplicemente non possono essere l'intera storia). Per alcune combinazioni linguistiche, i corpora paralleli sono abbondanti (ad esempio per le lingue dell'UE, abbiamo il procedimenti completi del Parlamento europeo). Per altre coppie, i dati di allenamento sono molto più rari. E anche se disponiamo di dati di formazione, esisteranno parole e frasi meno utilizzate che non appaiono abbastanza spesso per essere apprese.

Questo era un problema ancora più grande, poiché i sinonimi erano difficili da spiegare. Se i nostri dati di allenamento contenessero frasi per "Il cane ha catturato la palla", ma non "Il cucciolo ha catturato la palla", finiremmo con una bassa probabilità per la seconda frase. In effetti, sarebbe necessario un livellamento significativo per evitare che la probabilità sia zero in molti di questi casi.

L'emergere di modelli di linguaggio neurale negli ultimi 15 anni circa ha contribuito enormemente a questo problema, consentendo alle parole di essere mappate su uno spazio semantico a valore reale prima di apprendere le connessioni tra le parole. Ciò consente di apprendere modelli in cui le parole vicine tra loro nel significato sono anche vicine nello spazio semantico, e quindi cambiare una parola per il suo sinonimo non influirà notevolmente sulla probabilità della frase contenitiva. word2vecè un modello che lo ha illustrato molto bene; mostrò che potevi, ad esempio, prendere il vettore semantico per "re", sottrarre il vettore per "uomo", aggiungere il vettore per "donna" e scoprire che la parola più vicina al vettore risultante era "regina". Una volta che la ricerca sui modelli di linguaggio neurale è iniziata sul serio, abbiamo iniziato a vedere cali immediati e massicci di perplessità (cioè quanto i modelli naturali fossero confusi dal testo naturale) e stiamo vedendo aumenti corrispondenti nel punteggio BLEU (cioè qualità della traduzione) ora che quelli i modelli linguistici vengono integrati nei sistemi di traduzione automatica.

Le traduzioni automatiche non sono ancora buone come le traduzioni umane di qualità, e molto probabilmente non saranno così buone fino a quando non creeremo un'intelligenza artificiale pienamente consapevole. Ma i buoni traduttori umani sono costosi, mentre tutti con accesso a Internet hanno traduttori automatici disponibili. La domanda non è se la traduzione umana sia migliore, ma piuttosto quanto la macchina si avvicini a quel livello di qualità. Tale divario si è ridotto e continua a ridursi.