Set di dati / API di social network disponibili pubblicamente

Come estensione del nostro fantastico elenco di set di dati disponibili pubblicamente , vorrei sapere se esiste un elenco di set di dati di social network / API di scansione disponibili pubblicamente. Sarebbe molto bello se accanto a un collegamento al set di dati / API, fossero aggiunte le caratteristiche dei dati disponibili. Tali informazioni dovrebbero essere e non essere limitate a:

• il nome del social network;
• che tipo di informazioni utente fornisce (post, profilo, rete di amicizia, ...);
• se consente la scansione dei suoi contenuti tramite un'API (e velocità: 10 / min, 1k / mese, ...);
• se fornisce semplicemente un'istantanea dell'intero set di dati.

Eventuali suggerimenti e ulteriori caratteristiche da aggiungere sono i benvenuti.

Un paio di parole sulle API dei social network. Circa un anno fa ho scritto una recensione delle API dei social network popolari per i ricercatori. Sfortunatamente, è in russo. Ecco un riassunto:

Twitter ( https://dev.twitter.com/docs/api/1.1 )

• sono disponibili quasi tutti i dati su tweet / testi e utenti;
• mancanza di dati sociodemografici;
• ottima API di streaming: utile per l'elaborazione del testo in tempo reale;
• molti wrapper per la programmazione di lingue;
• ottenere la struttura della rete (connessioni) è possibile, ma è costoso (1 richiesta per 1 minuto).

Facebook ( https://developers.facebook.com/docs/reference/api/ )

• limiti di frequenza: circa 1 richiesta al secondo;
• ben documentato, sandbox presente;
• API grafico FQL (simil-SQL) e «riposo regolare»;
• dati di amicizia e caratteristiche sociodemografiche presenti;
• molti dati vanno oltre l' orizzonte degli eventi : solo i dati degli amici e degli amici degli amici sono più o meno completi, quasi nulla può essere studiato su un utente casuale;
• alcuni strani bug dell'API e sembra che nessuno se ne preoccupi (ad esempio, alcune funzionalità disponibili tramite FQL, ma non tramite il sinonimo dell'API Graph).

Instagram ( http://instagram.com/developer/ )

• limiti di velocità: 5000 richieste all'ora;
• API in tempo reale (come API di streaming per Twitter, ma con foto) - la connessione ad essa è un po 'complicata: vengono utilizzati i callback;
• mancanza di dati sociodemografici;
• foto, filtri dati disponibili;
• imperfezioni impreviste (ad esempio, è possibile raccogliere solo 150 commenti per pubblicare / foto).

Foursquare ( https://developer.foursquare.com/overview/ )

• limiti di velocità: 5000 richieste all'ora;
• regno dei dati geosociali :)
• abbastanza chiuso dalle ricerche a causa di problemi di privacy. Per raccogliere i dati di checkin è necessario creare un parser composito che funzioni contemporaneamente con le API 4sq, bit.ly e twitter;
• di nuovo: mancanza di dati sociodemografici.

Google+ ( https://developers.google.com/+/api/latest/ )

• circa 5 richieste al secondo (prova a verificare);
• metodi principali: attività e persone;
• come su Facebook, molti dati personali per utenti casuali sono nascosti;
• mancanza di dati sulle connessioni utente.

E fuori concorso: ho recensito i social network per i lettori russi e la rete numero 1 qui è vk.com . È tradotto in molte lingue, ma è popolare solo in Russia e in altri paesi della CSI. Link ai documenti API: http://vk.com/dev/ . E dal mio punto di vista, è la scelta migliore per la ricerca sui social media homebrew. Almeno, in Russia. Ecco perchè:

• limiti di velocità: 3 richieste al secondo;
• testo pubblico e dati multimediali disponibili;
• dati sociodemografici disponibili: per il livello di disponibilità casuale degli utenti è di circa il 60-70%;
• sono disponibili anche connessioni tra utenti: sono disponibili quasi tutti i dati di amicizia per utente casuale;
• alcuni metodi speciali: ad esempio, esiste un metodo per ottenere lo stato online / offline per l'utente esatto in tempo reale e si potrebbe creare un programma per il suo pubblico.

Non è un social network in sé, ma Stackexchange pubblica periodicamente l'intero dump del database:

• Dump di dati Stackexchange ospitato su archive.org
• Post che descrive lo schema di dump del database

Puoi estrarre alcune informazioni social analizzando quali utenti si chiedono e rispondono l'un l'altro. Una cosa bella è che, poiché i post sono taggati, puoi analizzare facilmente le sotto-comunità.

Un buon elenco di set di dati di social network disponibili pubblicamente è disponibile sul sito Web del progetto Stanford Network Analysis Project:

Set di dati SNAP

Il sito contiene dati di social network Internet (Facebook, Twitter, Google Plus), reti di citazioni per riviste accademiche, reti di co-acquisto da Amazon e molti altri tipi di reti. Hanno grafici diretti, non indirizzati e bipartiti e tutti i set di dati sono istantanee che possono essere scaricate in forma compressa.

Un esempio dalla Germania: Xing un sito simile al linkedin ma limitato ai paesi di lingua tedesca.

Link al relativo sviluppatore centrale: https://dev.xing.com/overview

Fornisce accesso a: profili utente, conversazioni tra utenti (limitatamente all'utente stesso), annunci di lavoro, contatti e contatti di contatti, notizie dalla rete e alcune API di geolocalizzazione.

Sì, ha un api, ma non ho trovato informazioni sulla tariffa. Ma mi sembra che alcune informazioni siano limitate al consenso dell'utente.

Network Repository ( http://networkrepository.com ) ha tonnellate di social network, grafici web, reti bio e cerebrali, ecc. Soprattutto, hanno anche strumenti interattivi di analisi visiva per confrontare / esplorare i vari social network.

Una piccola raccolta di tali collegamenti è disponibile qui . Molti di loro sono grafici sociali.

Testo tailandese da diverse piattaforme di social media + etichette di sentimento (positivo, neutro, negativo).