Come recuperare i tweet dalla riga di comando?

C'è un modo semplice per recuperare i tweet di qualcuno dalla riga di comando?

L'account sarebbe pubblico e il comando - o lo script, se necessario - recupererebbe tutto o un numero specificato di tweet più recenti in un file di testo, un tweet per riga, senza i metadati, il più recente nella prima riga.

Senza l'uso dell'API, solo bash.

Da una data di chiusura in poi, Twitter non ti farà entrare nella loro API senza avere una chiave OAuth. Ma come soluzione alternativa puoi utilizzare l'API di ricerca. È RESTful, quindi è possibile utilizzare curlper recuperare i risultati della ricerca in formato JSON. Ad esempio, se si desidera recuperare i tweet di @ java e salvarlo in un file ~/.tweets, è possibile utilizzare questa riga di codice:

curl http://search.twitter.com/search.json?q=from:java&page=1&rpp=10&callback=? >> $HOME/.tweets

E puoi analizzare il file, usando qualsiasi parser JSON.

Esistono strumenti per analizzare JSON dall'interfaccia della riga di comando. Anche se non ne ho mai usato uno, inserirò alcuni collegamenti ad alcune risorse, per aiutarti a scoprire lo strumento più adatto:

• /programming/3858671/unix-command-line-json-parser
• http://www.conigliaro.org/2011/01/24/jazor-a-simple-command-line-json-parsing-tool/
• /programming/1955505/parsing-json-with-sed-and-awk
• http://kmkeen.com/jshon/

E come piccola nota, è più veloce usare alcuni Python o Ruby (o altri).

Se non vuoi usare l'API di Twitter, puoi prendere il feed RSS del profilo Twitter usando uno script bash e quindi procedere a formattarlo da lì.

• /programming/8632233/read-rss-feed-using-a-shell-script

Poiché l'API di Twitter ha deprecato il feed RSS, puoi aggirare il problema generando feed RSS utilizzando i risultati della ricerca.

Ecco il feed RSS dei miei tweet .

Dovresti mettere insieme il necessario script bash. Dal recupero del feed RSS alla formattazione dei tweet secondo le vostre esigenze.

Questa è la mia sceneggiatura fatta per l'uso dello screensaver

#!/bin/bash

user="$1"
user="${user:=pontifex_pl}"

last_status_url=$(lynx -dump https://twitter.com/$user \
    | grep -i "$user/status/" \
    | head -1 \
    | awk '{print $2}')

lynx -dump "$last_status_url" \
    | grep 'Twitter:' -m1 -A4 \
    | tr -d '\n' \
    | sed -e 's/[^"]*"//' -e 's/".*//' \
    | tr -s ' '

echo

Ho creato uno strumento che dovrebbe fare quasi esattamente quello che hai descritto: twitter-screen-scrape . Per impostazione predefinita, verrà generato in JSON, con metadati, ma è banale inoltrare l'output attraverso qualcosa come underscore-cli per eliminare tutto ciò che non si desidera.

$ twitter-screen-scrape -u slang800 | underscore pluck text --outfmt text > outputfile

Puoi seguire il percorso python + tweepy:

1. Creazione della propria applicazione Twitter (per ottenere le chiavi API)
2. Crea token di accesso per il tuo account Twitter
3. Usa uno script come questo insieme alle tue credenziali: https://gist.github.com/yanofsky/5436496

L'ho appena testato e funziona benissimo. Tuttavia, ci sono utenti che proteggono i loro tweet, quindi potrebbe non permetterti di scaricare tutto. Ma questa è una caratteristica di Twitter.

Il limite è ancora 3200 e ottieni un file CSV.

Puoi usare twarcun esempio se vuoi archiviare i tweet di Nassim Nicholas Taleb che usi.

twarc timeline nntaleb --format csv> taleb.csv 

Puoi usare anche altri formati: --format {json,csv,csv-excel}

Come configurare twarc: L'unico modo per ottenere i tweet completi è utilizzare APIsfortunatamente anche se l'app è trasparente è necessario disporre di una configurazione e configurazione iniziali, è inoltre necessario richiedere il API(

A partire da luglio 2018, è necessario richiedere un account sviluppatore Twitter ed essere approvato prima di poter creare nuove app.

)

Una volta che hai le chiavi dell'applicazione , puoi dire twarccosa sono con il comando configure.

twarc configure

Ciò memorizzare le credenziali in un file chiamato .twarcnella propria home directory in modo da non dovete tenerli entrare in. Se si preferisce fornire loro direttamente si possono impostare nell'ambiente ( CONSUMER_KEY, CONSUMER_SECRET, ACCESS_TOKEN, ACCESS_TOKEN_SECRET) oppure utilizzando le opzioni della riga di comando ( --consumer_key, --consumer_secret, --access_token, --access_token_secret).