Come posso raggruppare le stringhe per temi comuni?

Sto tentando di raggruppare, ad esempio, stringhe sulla programmazione con altre stringhe sulla programmazione, stringhe sulla fisica con altre stringhe sulla fisica, ecc., Per una vasta gamma di argomenti. Nonostante l'evidente aspetto linguistico teorico del problema, sto cercando di farlo utilizzando la programmazione / il software.

Il fatiscente: dato un gran numero di stringhe, come potrei fare per raggrupparle per tema semantico?

La particolare applicazione: ho circa 200.000 domande trivia che vorrei classificare in raggruppamenti comuni (automobili, computer, politica, Canada, cibo, Barack Obama, ecc.).

Cosa ho esaminato: Wikipedia ha un elenco di toolkit di elaborazione del linguaggio naturale (supponendo che ciò che sto cercando di fare sia in realtà chiamato PNL), quindi ne ho esaminati alcuni, ma nessuno sembra fare qualcosa di simile ai miei bisogni.

Note: è stato sottolineato che per fare ciò è necessaria una conoscenza aggiuntiva (ad es. Una Porsche è un'auto, il C ++ è un linguaggio di programmazione). Presumo quindi che siano necessari i dati di addestramento, ma se ho solo l'elenco di domande e risposte, come posso generare i dati di addestramento? E poi come posso utilizzare i dati di allenamento?

Altre note: se l'attuale formattazione del mio Q & As aiuta (anche se sembra JSON, è fondamentalmente un file di testo non elaborato):

// row 1: is metadata
// row 2: is a very specific kind of "category"
// row 3: is the question
// row 4: is the answer
{
  15343
  A MUSICAL PASTICHE
  Of classical music's "three B's", he was the one born in Hamburg in 1833
  Johannes Brahms
}

Ma prima che qualcuno sottolinei che esiste già una categoria, nota che ci sono ~ 200k domande e risposte come questa, e sostanzialmente tante "categorie". Sto cercando di raggrupparli in gruppi più ampi come quelli sopra elencati. Inoltre, questa formattazione può essere modificata molto facilmente per tutte le domande, lo faccio a livello di programmazione.

E altre note: in realtà non so quante categorie avrò bisogno (almeno 10-20), perché non ho letto tutte le domande da solo. Mi aspettavo in parte di determinare in qualche modo il numero finito durante la categorizzazione. In ogni caso, posso sempre creare manualmente un numero di categorie.

Questo è un problema abbastanza standard nella PNL e le magiche parole di Google che stai cercando sono "modellazione di argomenti". Sebbene le stringhe siano piuttosto brevi, potresti avere qualche successo con l' allocazione di Dirichlet latente o un metodo simile. C'è un bel post sul blog da Edwin Chen qui , che delinea l'idea generale dietro l'algoritmo. I dettagli dell'implementazione sono trattati in questa nota da Yi Wang.

Se stai cercando una soluzione topicmodelsstandard , ti consiglio di provare il pacchetto per R, in quanto fornisce un'interfaccia ragionevolmente piacevole sia per LDA che per un modello di argomento correlato più sofisticato. C'è anche un buon elenco di implementazioni gestite da David Mimno qui .

Stai cercando di risolvere due problemi qui.

Problema 1: categorizzare le stringhe di domande nella categoria corretta.

Problema 2: creare categorie appropriate.

Il primo problema potrebbe essere posto dai cosiddetti algoritmi supervisionati, molti classificatori possono fornire precisione e prestazioni molto buone. Tuttavia, il problema 2, la creazione di categorie dal nulla (tonnellate di dati), è molto più complicato. Questo è un problema senza supervisione, dati molti dati il ​​computer decide autonomamente le categorie dati alcuni criteri. Idealmente, questi criteri e l'algoritmo dovrebbero organizzare in modo ordinato i dati in cluster. Questi potrebbero quindi essere etichettati. Tuttavia, poiché questo è un compito molto più difficile, direi che non esiste una soluzione accettabile per il drop-in che fornirà un buon risultato senza un grande sforzo di ottimizzazione che molto probabilmente richiederebbe esperti.

Quindi, temo non ci sia ancora un pulsante magico qui. Tuttavia, ciò che puoi fare è aiutare un po 'la macchina. Ad esempio, puoi decidere il set di categorie. Dopo aver deciso le categorie, è possibile creare dati di allenamento. In questa configurazione, i dati di allenamento sono solo domande e coppie di categorie corrette.

Più dati di allenamento meglio è. Tuttavia, poiché l'attività è ancora automatica, non ha senso iniziare a fare le cose manualmente. Ora perché vorresti avere i dati di allenamento? Valutazione della precisione. Se si desidera ottenere buoni risultati, è fondamentale poter eseguire una sorta di valutazione su quanto è buono un setup. E l'unico modo per farlo in modo un po 'sistematico è quello di etichettare manualmente alcuni questiosn da soli. Altrimenti sei nei ciechi.

Quindi, sorgono alcune nuove domande. Primo: quanti dati di formazione sono necessari? "Dipende". Senza aver visto i tuoi dati o le tue categorie non sono sicuro che ci proverei nemmeno; ma posso fare un "preventivo del ballpark" e dire circa 500 domande. Nota che potrei essere fuori di un ordine di grandezza.

Significa davvero che dovresti taggare 500 domande a mano? Sì e no. È possibile utilizzare risultati intermedi e un po 'di intelligenza per i classificatori "bootstrap". Tuttavia, è ancora un lavoro manuale e, quando ci pensi, 500 domande non impiegheranno molto a taggare. Essere intelligenti qui può dare rapidamente risultati peggiori che essere laboriosi.

Quando hai dati di allenamento in quantità sufficiente, prendine il 75% e crea un classificatore usando il tuo strumento preferito (ad esempio quelli menzionati qui o quant'altro). Ora, lascia che il classificatore tenti di etichettare il 25% dei dati e di misurare la precisione risultante. Se il risultato è buono, fai scoppiare lo champagne. In caso contrario, crea altri dati di allenamento o prova un altro classificatore.

TL; DR

Per riassumere, ecco come l'avrei fatto.

0) Use a supervised learner.
1) Create a category set yourself. 
2) Label manually about 500 questions
3) Use 75% of those to train a classifier.
4) Check performance.
5) If good then cheers else goto 2.