Un altro sito Web è il mirroring e si colloca al di sopra del mio sito nei risultati di ricerca


55

Esiste un sito di cattiva reputazione noto come tredici che ha rispecchiato completamente il mio sito e ora ha link che appaiono su Google nel punto n. 1 usando i miei contenuti. Ho controllato i miei file di registro e ho notato che questo sito ha eseguito la scansione del mio da un po 'di tempo e ha anche 10.000 collegamenti dal loro sito al mio.

Ho bloccato l'accesso degli utenti a cui viene fatto riferimento da questo sito e li ho già segnalati come spam Web a Google. Ho anche rinnegato il dominio.

Come stanno ottenendo i migliori collegamenti su Google (anche superando i miei) per tattiche così malvagie? Quali sono i passaggi per eliminare completamente un problema come questo?

AGGIORNAMENTO 28/08/2014:

Ho pensato di fornire un aggiornamento su questo dato che ora ho ulteriori informazioni. Quindi i trentenni hanno indicato i loro sottodomini sul mio IP che ha avuto l'effetto di far sembrare i loro sottodomini come il mio sito web.

Per un paio di giorni questo non ha avuto molta importanza perché usando htaccess ho reindirizzato tutti gli HOSTS non del mio dominio, tornando al mio dominio, il che sostanzialmente significava che stavo ottenendo i loro collegamenti di traffico dei sottodomini su Google. Dopo un paio di giorni i trenta hanno cambiato i loro sottodomini per tornare al loro sito Web in modo che io non ne tragga più beneficio.

Quindi il punto è che hanno usato i miei contenuti per ottenere il massimo dei voti su Google e ora stanno puntando quei link sul loro sito Web per indirizzare più traffico verso i loro.

È una tattica sporca da un sito Web sporco. La mia speranza è che Google punisca un simile comportamento.


3
Ho modificato la parte in cui metti in dubbio il loro motivo in quanto è fuori tema qui. Ma bella domanda altrimenti.
John Conde

1
La clonazione di siti Web sembra essere un nuovo trucco, molti siti Web sono abusati al momento. Ci sono notizie su Heise (tedesco) su questo argomento. La solita soluzione (oltre a segnalare il sito fasullo) sembra essere quella di fornire contenuti speciali agli indirizzi IP dei crawler, quindi mostreranno ad esempio un link al tuo sito reale.
martinstoeckli,

1
Un'altra preoccupazione per il futuro - ora che Google ha preso una posizione così dura nei confronti del webspam - è che i concorrenti pubblicheranno di proposito i miei contenuti su siti di cattiva reputazione per nuocere alla mia reputazione. O pubblicherò blog dall'aspetto spammy che puntano al mio sito a mia insaputa.
Marlboro Goodluck,

3
@Jarrod Roberson: non proprio, qualcuno sa di una causa legale, ma quante di una soluzione tecnica ?!
machineaddict,

1
@JarrodRoberson Eppure è un problema affrontato esclusivamente dai webmaster, ed è quindi molto in tema per questo sito perché chiederlo qui riceverà risposte da persone che hanno anche dovuto affrontarlo. Sembra anche che le persone abbiano presentato diverse soluzioni tecniche oltre a quelle legali.
grazie

Risposte:


45

Se stanno solo eseguendo il mirroring del tuo sito alimentando il tuo sito tramite uno script proxy o rigurgitando il tuo verbatum HTML, puoi aggiungere URL canonici alle tue pagine. Ciò consentirà a Google di sapere che i tuoi contenuti sono la fonte originale e di mostrare il tuo URL nei risultati di ricerca, non i loro.

Invia una richiesta DMCA a Google. Sono un po 'lenti con loro ma alla fine rimuoveranno quelle pagine dal loro indice.

Rinunciare ai collegamenti è una mossa intelligente.

Non so se bloccare gli utenti sia utile però. Forse mettere un messaggio in cima alle tue pagine per far loro sapere che sei il sito originale e l'altro è una frode potrebbe essere una soluzione migliore.


2
Gli URL canonici non sempre aiutano. Lo script che ha rispecchiato il mio sito ha cambiato l'URL canonico per indicare anche il sito falso; quindi era inutile.
CaptainCodeman

28

Puoi presentare un reclamo DMCA e, se ti trovi negli Stati Uniti, puoi presentare una causa in materia di diritto civile.

Ecco un link a una breve risposta che spiega come il reclamo DMCA può aiutare chiunque:

Devi essere negli Stati Uniti per presentare un reclamo DMCA?

... e un altro spiega di più ...

Quanti dei tuoi contenuti devono essere copiati prima di poter presentare un reclamo DMCA?

Se ti trovi negli Stati Uniti, puoi assumere un avvocato che abbia familiarità con i problemi di copyright e far loro inviare una lettera di cessazione e desistere. Concedi loro 10 giorni (giorni reali e non giorni lavorativi anche se i giorni lavorativi andrebbero bene) per rimuovere il contenuto. Desideri acquisire istantanee del sito offensivo anche per le tue prove e istantanee del tuo sito. Se controlli per vedere se una pagina è stata rimossa, controlla direttamente il sito e non cercare i risultati.

Se la pagina non è stata rimossa entro il periodo di tempo, è possibile presentare una causa civile federale che richiederà almeno $ 10.000 per difendersi e difficilmente ti costa nulla. Sarai al posto di guida. È probabile che si possa avere un accordo per almeno $ 10.000 e forse di più. Puoi anche recuperare i costi. Ciò che è importante è offrire un'opzione gratuita per correggere il problema, da cui la lettera di cessazione e desistenza. Successivamente, sei libero di presentare un caso senza responsabilità nei confronti dell'imputato.

Un'altra nota è che dovrai dimostrare i danni se vai in tribunale. La perdita del traffico di ricerca è un danno. Qui collaborerai con il tuo avvocato per raccogliere metriche che illustrano la perdita di traffico e dovrai monetizzare il valore di quel traffico. Ovviamente puoi assumere numeri più alti qui anche con un tasso di conversione del 100%. Per ogni evenienza, raccoglierei le metriche sulla perdita di traffico usando Google Analytics e il tuo software di analisi dei file di registro oggi e in futuro.

Si prega di sapere che presentare un caso non è difficile o molto costoso, soprattutto rispetto ai danni che si stanno verificando ora e in futuro. Le violazioni del copyright sono diminuite di recente, ma quei pochi che violano il copyright sono molto più audaci in questi giorni. Dobbiamo fermare queste persone e l'unico modo reale è quello di inserire un fattore di costo nella strategia aziendale che renda non redditizia la violazione del copyright.


2
L'intero problema che stai evitando è che scoprire chi c'è dietro il sito è praticamente impossibile. Voglio dire, dovrebbero essere degli idioti per rendere più facile rintracciare il sito a un individuo reale.
David Mulder,

1
@DavidMulder Nessun salto laterale. Un avvocato può chiedere alle società le informazioni di cui hanno bisogno. Anche una lettera gentile è sufficiente. Se le informazioni non vengono fornite, l'avvocato può richiedere una deposizione in tribunale dinanzi a un giudice con una pena di reclusione se non si presentano o forniscono le informazioni richieste. Negli Stati Uniti, non c'è nascondiglio dalla legge - civile o altro. Funziona ancora a livello internazionale con qualche eccezione.
closetnoc,

@closetnoc: la società potrebbe non voler fornire le informazioni liberamente, o addirittura essere libera di farlo. Non è certo che un tribunale emetterà una citazione o che la pista rimarrà nella sua giurisdizione. Potresti trovarti in una battaglia legale molto costosa e lunga con una terza parte che potrebbe anche non conoscere il vero nome del colpevole. A giudicare dalla tua risposta approfondita, sei senza dubbio consapevole di questi ostacoli, ma devo schierarmi con David Mulder: penso che tu stia capendo quanto sia difficile rintracciare il sito a un individuo.
Marcks Thomas,

@closetnoc: Sì, tranne che il provider di hosting non ha le informazioni corrette. E il pagamento è stato probabilmente effettuato con una carta di credito prepagata o qualche altra carta prepagata, una carta di credito rubata, un bitcoin o qualche altro meccanismo di transazione non rintracciabile. Oh, e il provider di hosting potrebbe non essere nemmeno negli Stati Uniti in primo luogo. Si chiama Internet, piaccia o no.
David Mulder,

@DavidMulder Apprezzo quello che stai dicendo. Sono nel settore della sicurezza, specialmente nell'area della ricerca su come trovare i cattivi. Principalmente ciò di cui stai parlando sarebbe cinese, russo o polacco. Ci sono ancora modi per determinare chi sono queste persone attraverso schemi e simili. Si danno via. Questo è specificamente quello che faccio. Devi provare. Non puoi semplicemente eseguire il roll-over. Un buon avvocato di Internet conosce gente come me e come ottenere informazioni. Un thread è tutto ciò di cui ho bisogno e di solito lo capisco. Ma può essere un vero sforzo. Ma questa è roba da scenario peggiore.
closetnoc,

27

È possibile tenere traccia del loro IP (o IP) e restituire contenuti totalmente diversi per il loro mirroring, qualunque cosa tu voglia. In questo modo ottieni spazio libero per qualsiasi pubblicità e puoi sfruttare la loro posizione elevata in Google a tuo vantaggio.

Una volta l'ho usato per spiegare semplicemente agli utenti sul sito web con mirroring che questo è il dominio sbagliato. Puoi anche pubblicare una semplice intestazione di reindirizzamento HTTP.


8
Lo trovo davvero divertente per qualche motivo. +1
Mehrdad,

1
probabilmente non cloneranno le intestazioni HTTP, ma puoi inviare loro animazioni javascript e striscioni divertenti in stile Marquee che urlano "questo è un furto" e buone vecchie gif animate: P
Florian Fida,

può anche usare meta tag e reindirizzamenti javascript, uno dei tre funzionerà quasi sicuramente. in ogni caso, questa non è una soluzione stabile e funzionerà solo fino a quando non scopriranno e inizieranno a lavorare contro di essa. @Mehrdad, immagino sia divertente perché è confuso :)
Igor R

mi è anche venuto in mente che è divertente perché l'attaccante sta effettivamente aprendo una vulnerabilità su se stesso, lasciando la vittima al suo parco giochi (attaccanti), anche se può fermarlo in qualsiasi momento. il che rende l'attaccante piuttosto stupido.
Igor R,

La loro posizione elevata su Google sta sostituendo la posizione elevata del sito Web originale, quindi non è proprio "pubblicità gratuita".
CaptainCodeman

12

Un po 'tardi per te, ma la migliore idea per proteggere il tuo sito Web (in futuro) sarebbe questa: https://www.youtube.com/watch?v=I3pNLB3Cq24 (defcon 21, difesa in base ai numeri) che finge il codice di ritorno in modo che gli utenti vedrà il contenuto ma i bot lo faranno

  • buttare via il contenuto
  • strisciare in cerchio
  • smetti di lavorare

altre possibili idee - assicurati che i tuoi utenti non vedano nulla di tutto questo:

  • lascia che salvino GB di informazioni (mentre ci sono solo pochi kb sul tuo server)
  • fare in modo che i robot inondino la propria memoria di collegamenti falsi
  • inviare contenuti falsi (100% boolsh * t - devi scrivere cose - come "Obama incinta", "Spider-Man 5 - la prossima estate", ... così i tuoi ladri possono ospitarli ...)
  • inviare file falsi (come 42.zip, se non controllano il contenuto copiato i loro utenti si divertiranno -> Gli strumenti AV mostreranno che qualcosa non va -> gli utenti saranno p * ss * d ...)
  • far aspettare più dati (dimensione del file = 1-10 MB e inviare cr * p casuali con 1 byte / s o meno)

altre idee:

  • link protetti da Javascript (vecchi, inutili più? ma se rimangono invariati gli utenti ti verranno inviati (per un po ')
  • immondizia dinamica (usa commenti o oggetti invisibili per fare in modo che i robot scaricano cose che gli utenti non possono vedere - i buoni robot non cadranno per questo)
  • blocca gli indirizzi IP che scaricano troppo / troppo velocemente / nel modo sbagliato (i robot non si comportano come gli umani 1) ogni collegamento su ogni pagina 2) c'è un modello o un caos totale nel modo in cui scelgono i collegamenti successivi
  • usa Javascript per reindirizzare al tuo server se i file non sono ospitati dal tuo server (nessun aiuto contro il furto ma i ladri devono rimuoverlo o i loro utenti non rimarranno sulla loro pagina - potresti codificarlo in diverse routine (come la decrittografia del contenuto ))

Ho il mio codice che devo ancora ottimizzare alcuni che bloccano i ragni. Esaminerò le tue idee perché è il tipo di ragazzo che sono! ;-) Ottimi consigli!
closetnoc,

4
Il problema con il blocco di ragni e robot è che probabilmente non li vuoi bloccare. Google è piuttosto importante, ad esempio, se vuoi che le persone possano trovare il tuo sito web. (E poiché Google ha il tuo sito nella sua cache, un crawler web non ha effettivamente bisogno di scansionare il tuo sito per duplicarlo).
truscamente

Se hai intenzione di dare loro deliberatamente qualcosa di alternativo - preferisco la risposta di Igor di renderlo vantaggioso per te (reindirizzare / dire che è sbagliato / pubblicare annunci) piuttosto che reagire.
OJFord,

2

Questo si chiama Google Proxy Hack ed è successo anche a me.

Cominciando dall'inizio:

  • Invia un reclamo DMCA al Web Host. Utilizzare questo collegamento per creare un reclamo correttamente formato e inviarlo al supporto dell'host o all'email di abuso. Se l'host si trova negli Stati Uniti, devono eliminare il sito. Anche se non hanno sede negli Stati Uniti, possono comunque scegliere di eliminare il sito. (Mi è successo una volta.)
  • Utilizza lo strumento DMCA di Google per richiedere la rimozione dell'URL con mirroring dai suoi risultati di ricerca.
  • Utilizza il rapporto Scraper di Google per segnalare l'errore dell'algoritmo di Google.

Fondamentalmente, questo è un fallimento da parte di Google. Nonostante tutto ciò che dicono sul fatto che il ranking sia basato su "contenuti originali di qualità", questo è un contro-esempio assurdamente semplice che francamente è solo imbarazzante.

Eventualmente, se un numero sufficiente di persone si lamenta, alla fine Google metterà insieme le sue azioni e scriverà le 10 righe di codice necessarie per verificare che un sito sia un mirror esatto di un sito precedentemente stabilito.

Inoltre, tieni presente che l'utilizzo di URL canonici non funziona sempre in questa istanza. Molti di questi script proxy cambiano gli URL canonici per puntare al sito mirror, rendendoli così inutili.

Infine, tieni presente che potrebbero anche aver spammato il tuo sito principale con collegamenti di immondizia per danneggiare le tue classifiche. (Questo è successo anche a me.)

Se fai qualche ricerca e pensiero creativo, ci sono alcuni modi per reagire. Non credo sia una buona idea pubblicare un elenco completo qui perché ciò semplifica la vita degli hacker.


1

Come altri hanno già detto, presentare un reclamo DMCA e una causa in materia di diritto civile può essere la migliore opzione.

Per i nuovi contenuti che pubblichi, puoi considerare di avvisare sugli aggiornamenti del tuo sito sui social media (Twitter, Facebook ecc.) Non appena pubblichi. Il timestamp registrato può essere un indicatore giusto che hai scritto per primo nel caso in cui tu debba provarlo. Tramite gli Strumenti per i Webmaster di Google, puoi applicare un'impostazione per fare in modo che Googlebot esegua la scansione del tuo sito spesso . Supponendo che i motori di ricerca più diffusi indicizzino regolarmente le pagine Web (utilizzare l'operatore del sito, sito: esempio.com, per scoprirlo), la data nella copia cache può essere utilizzata come un indicatore approssimativo di quando il contenuto è stato pubblicato.

Anche per i nuovi contenuti che pubblichi, puoi incorporare filigrane all'interno delle immagini e inserire commenti nei file JS indicando che sei il proprietario originale di tali file.


Se c'è un bot che sta copiando il contenuto, potrebbe semplicemente includere le informazioni sulla paternità nella pagina, quindi il contenuto copiato conterrebbe qualcosa del tipo "Questo è stato creato da Foo, tutti i diritti riservati", il che rende un caso davvero chiaro (potresti, ad esempio, nascondere che in acrostico, ma essendo un bot, funzionerà in testo semplice e renderà più forte il tuo caso).
Ángel,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.