2
Controllo su Internet Archive oltre a “Disallow /”?
Esistono meccanismi per controllare ciò che archivia Internet Archive su un sito? So di non consentire tutte le pagine che potrei aggiungere : User-agent: ia_archiver Disallow: / Posso dire al bot che voglio che eseguano la scansione del mio sito una volta al mese o una volta all'anno? Ho un …