Dove posso ottenere dati grezzi pubblici gratuiti? [chiuso]


26

Nello sviluppo Web, un mashup è una pagina Web o un'applicazione che utilizza e combina dati , presentazioni o funzionalità da due o più fonti per creare nuovi servizi.

Esistono molte fonti per ottenere dati (informazioni non elaborate). I governi sono buoni esempi.
Tuttavia, molti di questi costano e hanno complicate licenze. Ad esempio, SMHI in Svezia vende i dati sulla temperatura, mentre il nostro paese vicino, la Norvegia, li fornisce gratuitamente.

Si direbbe che tipo di applicazione stai costruendo e di quali dati hai bisogno? Direi che mi danno alcuni dati interessanti e ne farò un buon mashup. Potrei semplicemente tracciarlo su Google Maps, ad esempio.

Quindi la domanda è: dove posso ottenere dati gratuiti?

Nota: non mi interessa il data mining usando un webcrawler!

Per favore, condividi le tue fonti con me.


Che tipo di dati stai cercando? Qualunque dato tu possa ottenere gratuitamente?
— Jetti,

Qualsiasi dato che possa avere un significato per un gran numero di persone.
— Amir Rezaei,

1
Che ne dici di odata.stackexchange.com ?
— ChrisF

@ChrisF: "Questa pagina contiene i seguenti errori: errore sulla riga 2 nella colonna 29: Char 0x0 fuori dall'intervallo consentito Di seguito è riportato un rendering della pagina fino al primo errore." Quando si fa clic sul collegamento odata.
— Chris,

@ Chris - Funziona bene per me, ma se hai un caso ripetibile segnala il problema al team su MSO. Sono solo un moderatore;)
— ChrisF

Risposte:


11

Per informazioni generali, un buon punto di partenza potrebbe essere la pagina Open Data di Wikipedia, in particolare le parti inferiori della pagina ( Organizzazioni che promuovono dati aperti , Vedi anche e Link esterni )

Stavo per trasformare il resto di questo post in un elenco di fonti di dati per dati nazionali e regionali ... ma il quotidiano Guardian UK è già andato e ha compilato un archivio di dati del governo mondiale, quindi inutile duplicare lo sforzo, invece io ' Indico solo ...

guardian.co.uk/world-government-data

... per un catalogo di molte diverse iniziative Open Data a livello di paese e di città.
(Non ha sede nel Regno Unito, anche se sembra concentrarsi sui paesi di lingua inglese.)

Al momento della modifica, contiene dati per Regno Unito, Stati Uniti, Australia, Canada, Nuova Zelanda e Spagna basca.

Una cosa non elencata qui, ma degna di nota, è l' ordinazione dei dati di mappatura del sondaggio inglese .


I Guardian hanno anche la piacevole abitudine di fornire i dati a cui fanno riferimento nelle loro storie per la maggior parte del tempo.
— Jon Hopkins,

6

Ci sono dati ovunque al posto di ogni tipo. L'approccio migliore è capire quale tipo di dati è necessario, trovare un sito Web che lo possiede e vedere se il sito offre un'API. Tuttavia, ecco alcune fonti generali:






3

Qualcuno ha fatto praticamente la stessa domanda su Reddit Compsci qualche tempo fa ... ecco cosa ho dovuto dire allora . Penso che tutto sia ancora valido.

Dai un'occhiata ad alcuni di questi siti, sono ragionevolmente sicuro che ci sia qualcosa per attirare il tuo interesse.

A seconda di cosa stai cercando di fare, ci sono tonnellate e tonnellate di set di dati là fuori. Uno che è divertente da giocare, ma che potrebbe o meno essere rilevante per te, è il set di dati e-mail Enron . È il risultato di MOLTE e-mail aziendali interne Enron che sono state citate e rilasciate al pubblico durante il grande scandalo Enron .

E se non riesci a trovare esattamente i dati desiderati, non sottovalutare la possibilità di scrivere il tuo crawler / raschietto. A seconda dei dati desiderati, potrebbe essere abbastanza semplice eseguire la scansione del Web per il proprio set di dati. Esistono tutti i tipi di strumenti, dai wget ai droidi apache , per aiutarti a recuperare informazioni a livello di programmazione.



2

Dati sull'acqua

Puoi usare NOAA per recuperare enormi quantità di dati con cui giocare. L'ho usato più volte e l'API non è affatto male. Se non ti interessa cosa e semplicemente quanto è dove andrei.




Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.