Dove trovare un corpus di testo di grandi dimensioni? [chiuso]

16

Sto cercando corpus di testo di grandi dimensioni (> 1000) da scaricare. Preferibilmente con notizie dal mondo o qualche tipo di report . Ne ho trovato solo uno con brevetti. Eventuali suggerimenti?

dataset

— Dimitar Vouldjeff
fonte

Questa discussione sembra essere fuori tema. Vedi meta.stats.stackexchange.com/questions/1032/… .

— whuber

Questa domanda sembra fuori tema perché si tratta di trovare un set di dati, piuttosto che fare analisi statistiche

— Peter Flom - Reintegrare Monica

2

Bene, è imbarazzante, perché questa domanda e risposta è davvero utile.

— Spettacolo Bob

@guaka, ti preghiamo di non cancellare post così vecchi per modifiche minori, in particolare un post chiuso. È vero che la nostra preferenza di stile non è quella di avere "grazie", ma per qualcosa di così minore, lo lasceremmo e basta.

— gung - Ripristina Monica

Risposte:

9

I testi di Wikileaks non ti stanno bene?

— adamo
fonte

Ma come potrei scaricarli in .txt

— Dimitar Vouldjeff il

6

Che dire di Wikiws ? Ecco l'ultimo dump del database che ho trovato: http://dumps.wikimedia.org/enwikinews/20111120/

Probabilmente vuoi "Tutte le pagine, solo le versioni attuali" - versione.

— Mogron
fonte

Questo non funziona più.

— vy32,

il dump link non funziona più. il set di dati per regione è piccolo e obsoleto

— HappyCoding

6

Il corpus di testo reuters è un classico nel campo e può essere trovato qui

— richiemorrisroe
fonte

Non è il corpus più interessante (o diversificato). La licenza è anche restrittiva rispetto a Wikileaks (documenti statunitensi di dominio pubblico) o wiki.

— Ariddell,

@ariddell sono d'accordo, ma è comunemente usato negli esempi introduttivi della PNL, ed è abbastanza grande da essere utile nell'apprendimento ma abbastanza piccolo da essere analizzato su un buon laptop.

— richiemorrisroe,

3

http://endb-consolidated.aihit.com/datasets.htm contiene 10K aziende con descrizioni testuali

— Yuri
fonte

è attualmente obsoleto

— Quonux il

1

Se la recency non è un problema, puoi provare

http://www.infochimps.com/datasets/20-newsgroups-dataset-de-duped-version

e ci sono molti altri set di dati simili in infochimp a seconda del budget.

Saluti, Andy.

— drhanlau
fonte

Questo non funziona più

— vy32

1

Se desideri n-grammi precompilati, puoi provare l'archivio di google books:

http://books.google.com/ngrams/datasets

— tdc
fonte

come può essere usato questo?

— HappyCoding

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.