Come posso rendere il mio Wiki di Github visitabile dai motori di ricerca? robots.txt sembra vietarlo

9

Durante l'utilizzo del controllo link W3C , ho scoperto che il mio Wiki Github non può essere sottoposto a scansione:

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Status: (N / A) Proibito da robots.txt

Questo è un peccato, perché vorrei che le persone trovassero facilmente questo Wiki sui motori di ricerca.

DOMANDA: Come posso rendere il mio Wiki di Github visitabile dai motori di ricerca?
O mi sbaglio e il robots.txt di Github è effettivamente OK?

github search-engine wiki

— nic
fonte

1

Sospetto che la risposta sia all'incirca la stessa di questa domanda simile .

— Giovanni C,

9

GitHub robots.txt non consente esplicitamente la scansione delle pagine della wiki, ad esempio nella sezione Googlebot:

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

Poiché si tratta del file di robot a livello di sito, non è possibile aggirarlo.

È una scelta interessante, dal momento che GitHub descrive i wiki come un luogo in cui "condividere contenuti di lunga durata sul tuo progetto". Dal momento che per impostazione predefinita i wiki pubblici sono modificabili da qualsiasi utente, forse è una protezione pesante dagli spammer.

— Giovanni C.
fonte

0

I wiki GitHub sono ricercabili dai motori che lo supportano. Vedi le prime due righe di https://github.com/robots.txt :

# If you would like to crawl GitHub contact us at support@github.com.
# We also provide an extensive API: https://developer.github.com/

Questo è probabilmente per l'analisi di vari formati wiki ecc.

Ad esempio, cerca in Google "protocollo openrefine broker" e il primo hit è una pagina in un wiki del progetto Github.

— Peter Kehl
fonte

Hmm, quindi perché Google sta indicizzando il wiki del protocollo Broker e non il wiki del PO?

— Vidar S. Ramdal,