C'è una differenza tra un robots.txt vuoto e nessun robots.txt?

Su un server web ora devo ammettere che ho notato che il file robots.txt è vuoto. Mi chiedevo se ci fosse una differenza tra un file robots.txt vuoto e nessun file.

I crawler si comportano diversamente in questi due casi? Quindi, è sicuro eliminare un robots.txt vuoto?

I crawler si comportano diversamente in questi due casi?

Un file robots.txt vuoto non è in realtà diverso da uno non trovato, entrambi non impediscono la scansione.

Tuttavia, potresti ricevere molti 404errori nei log del tuo server quando i crawler richiedono il file robots.txt , come indicato in questa domanda qui .

Quindi, è sicuro eliminare un robots.txt vuoto?

Sì, con l'avvertenza sopra.

No. Non c'è differenza.

Si otterrebbero 404 errori nel registro del server e, se si è abbonati a cose come gli strumenti di Google Web Master, potrebbe dirti che non ne hai uno, ma in termini di comportamento del robot cingolato: sono gli stessi per qualsiasi robot a cui tieni.