2
Il modo più efficiente (tempo, costo) per raschiare 5 milioni di pagine Web?
Ho un elenco di pagine Web che devo scrape, analizzare e quindi archiviare i dati risultanti in un database. Il totale è di circa 5.000.000. La mia attuale assunzione del modo migliore per affrontare questo è di distribuire ~ 100 istanze EC2, fornire a ciascuna istanza 50.000 pagine da raschiare …