C'è un precedente legale per questo. Field v. Google Inc., 412 F. Supp. 2d 1106, (US Dist. Ct. Nevada 2006). Google ha vinto un giudizio sommario basato su diversi fattori, in particolare che l'autore non ha utilizzato un file robots.txt nei metatag sul suo sito Web, il che avrebbe impedito a Google di eseguire la scansione e la memorizzazione nella cache delle pagine che il proprietario del sito Web non voleva indicizzare.
Decisione pdf
Non esiste una legge statunitense che si occupi specificamente dei file robots.txt; tuttavia un altro caso giudiziario ha stabilito alcuni precedenti che potrebbero eventualmente portare a considerare i file robots.txt come elusione di misure elettroniche intenzionali adottate per proteggere il contenuto. In HEALTHCARE ADVOCATES, INC Vs HARDING, EARLEY, FOLLMER & FRAILEY, et. al, Healthcare Advocates ha sostenuto che Harding et al hanno essenzialmente compromesso le funzionalità della Wayback Machine per ottenere l'accesso ai file memorizzati nella cache delle pagine che avevano versioni più recenti con i file robots.txt. Mentre Healthcare Advocates ha perso questo caso, il tribunale distrettuale ha osservato che il problema non era che Harding et al "sceglievano il lucchetto", ma che avevano ottenuto l'accesso ai file a causa di un problema di caricamento del server con la Wayback Machine che concedeva l'accesso al file memorizzati nella cache quando non dovrebbe
Decisione della corte pdf
È solo questione di tempo fino a quando qualcuno non prende questa sentenza e la ribalta: il tribunale ha indicato che robots.txt è un lucchetto per impedire la scansione e aggirarlo è scegliere il lucchetto.
Molte di queste azioni legali, sfortunatamente, non sono così semplici come "Ho cercato di dire al tuo crawler che non è permesso e che il tuo crawler ha ignorato quelle impostazioni / comandi." Ci sono una miriade di altri problemi in tutti questi casi che alla fine incidono sul risultato più di quel problema fondamentale relativo alla questione se un file robots.txt debba essere considerato un metodo di protezione elettronica ai sensi della legge DCMA degli Stati Uniti.
Detto questo, questa è una legge degli Stati Uniti e qualcuno dalla Cina può fare quello che vuole, non a causa del problema legale, ma perché la Cina non imporrà la protezione del marchio e della protezione del copyright negli Stati Uniti, quindi buona fortuna inseguirli.
Non è una risposta breve, ma in realtà non c'è una risposta breve e semplice alla tua domanda!