Come (il) è legale ottenere dati da un'API accessibile al 100% ma non "esposta"

Ho trovato un sito Web che fornisce un'enorme tabella filtrabile con dati aggiornati sulle città di un paese. Questo sito utilizza un approccio a scorrimento infinito per caricare le righe per la tabella.

Esplorando il sito utilizzando gli Strumenti per sviluppatori di Chrome, ho scoperto che invia richieste AJAX ad alcuni URL interni per ottenere i dati. Questo URL include molti parametri di query corrispondenti ai filtri.

Ho provato ad accedere a quell'URL direttamente nel mio browser e sto ottenendo tutti i dati in un bel formato JSON. Posso persino giocare con i filtri per ottenere i dati concreti di cui ho bisogno. Questo URL è effettivamente accessibile, quindi non ho bisogno di fare nulla di strano , sto solo chiamando un URL che è lì in rete.

Quindi la mia domanda è: quanto è legale o illegale per me usare quell'URL per recuperare i dati per i miei scopi?

Nota : non voglio creare lo stesso tipo di elenco di città, ma voglio usare quei dati per creare un piccolo gioco online, potenzialmente per guadagnare un po 'di soldi ...

Note IMPORTANTI su alcune risposte e commenti

Questo è solo uno scenario esemplificativo, non sto cercando un posto per raccogliere dati sulle città. Se lo desideri, considera un sito Web con dati sull'andamento aggiornato dei giocatori di calcio in una stagione.

Per quanto riguarda il Paese concreto, di nuovo, non sto pensando a una legislazione particolare, se conosci un Paese in cui è chiaramente (il) legale, saranno utili informazioni.

Vorrei essere chiaro. C'è una cosa che conosco abbastanza bene, è la legge sul copyright. Non sono un avvocato, tuttavia, la conoscenza del copyright è stata un requisito costante della mia consulenza per 30 anni. Come ulteriore vantaggio, mi sono consultato principalmente con i sistemi di telecomunicazione e spesso ho lavorato con i dati degli abbonati e l'analisi dei dati e la presentazione di tali dati per la vendita e il riutilizzo. Almeno, sono qualificato in modo univoco per rispondere a questa domanda su questo forum.

Spiegherò questo il meglio che posso: uno, definendo mezzi ordinari versi proprietari; due, definendo l'eccezione del caso citato e altre considerazioni relative al copyright; e tre, essendo chiari sulla risposta.

Vorrei chiarire alcuni diritti d'autore. L'esempio di una rubrica telefonica è un termine improprio. Quando ricevi un telefono, hai stipulato un contratto di contratto privato come cittadino privato con una società privata e le informazioni risultanti, rese pubbliche o meno, sono dati di proprietà privata e pertanto i contenuti di una rubrica telefonica sono proprietari (prestare attenzione a questa parola) semplicemente perché non può essere ottenuto generalmente con altri mezzi se non attraverso le fonti di dati dell'azienda, i dati dell'abbonato. Se i dati possono essere derivati ​​con mezzi ordinari, come camminare e scrivere numeri civici e nomi di strade, allora sono dati disponibili al pubblico e chiari da usare. Questo non significa che i numeri di telefono non possano essere ottenuti con mezzi ordinari. Può essere.

Per chiarire ulteriormente. Per citare da: http://www.lib.umich.edu/copyright/facts-and-data

In nessun caso la protezione del copyright per un'opera d'autore originale si estende a qualsiasi idea, procedura, processo, sistema, metodo di funzionamento, concetto, principio o scoperta, indipendentemente dalla forma in cui è descritta, spiegata, illustrata o incorporata in tale lavoro.

Questo paragrafo è fuorviante. Questa eccezione descritta in questo paragrafo è coperta da brevetto e altre leggi. Il copyright si estende solo alla creazione di un'opera.

Il:

Dottrina del "sudore della fronte"

... si riferisce a qualsiasi attività come andare di casa in casa e raccogliere i dati manualmente. Questa è la definizione di mezzi ordinari. È possibile bussare alle porte e chiedere gli stessi dati telefonici. Solo nella misura in cui è possibile raccogliere i fatti con mezzi ordinari, tali dati o parti dei dati proprietari sono pubblici.

Il modo normale per utilizzare i dati telefonici è: uno, ottenere i dati originali con mezzi legali; e due, applicare la dottrina del fair use. Ciò comporterebbe ottenere una copia dell'elenco telefonico direttamente dalla società, che può essere gratuita o a pagamento, e organizzare i fatti in modo diverso in modo da creare un nuovo lavoro. Hai provato a procurarti una rubrica di Seattle quando sei a Chicago? Scoprirai che la compagnia telefonica probabilmente ti addebiterà una tariffa sorprendente per questo. Tuttavia, se sei un abbonato telefonico a Seattle e chiedi una rubrica telefonica di Seattle, la tariffa sarebbe molto inferiore o addirittura gratuita. Ho dovuto farlo molte volte. Ci sono persone che hanno il compito di procurarsi da soli gli elenchi telefonici delle telecamere e di pagare la tassa se necessario.

La sentenza citata nella causa Feist Publications v. Rural Telephonenel collegamento sopra (in questa risposta) si basa su due fatti: uno, dato che i dati dell'operatore cooperativo rurale come monopolio locale dovevano essere resi pubblici mediante un accordo operativo; e due, che la presentazione dell'opera era protetta da copyright e non i fatti contenuti all'interno a causa del fatto n. 1. Pertanto, solo all'interno di parametri ristretti questo caso può essere considerato come un caso precedente e deve essere scartato. Normalmente, i dati degli abbonati di società private non sono richiesti previo accordo per essere resi pubblici. Dovete ricordare che le cooperative rurali sono costituite come enti / trust pubblici per il bene pubblico e di proprietà del pubblico e / o dei membri della cooperativa e quindi operano in base a restrizioni legali che ne consentono l'approvazione o il funzionamento. Ogni caso è diverso.

All'inizio della compagnia Bell Telephone, la compagnia era tenuta come monopolio a rendere pubblici i dati telefonici, a meno che non fossero limitati dall'abbonato. Quando la compagnia Bell fu divisa in due piccole campane, Bell Atlantic, Bell South e così via, queste compagnie erano ancora obbligate come monopoli a rendere pubblici i dati telefonici come precedentemente definito. Ma con la deregolamentazione e in effetti con VoIP, cellulare e altre opzioni, i monopoli sono rari. Solo negli scenari di monopolio si può sostenere l'argomento sopra citato.

Continuando a citare il link sopra (in questa risposta):

Solo perché i dati non sono protetti da copyright, non significa che non ci siano altre considerazioni legali che potrebbero entrare in gioco quando si desidera utilizzare il set di dati di qualcun altro.

Tienilo a mente.

Qualsiasi set di dati e la relativa presentazione, indipendentemente dall'origine dei dati, è un'opera a sé stante. La presentazione pubblica dei fatti, indipendentemente dai mezzi, è un'opera a sé stante.

Dato che non stai ottenendo i dati con mezzi ordinari, anche se i dati sono resi pubblici, e indipendentemente dall'origine originale dei dati, non è libero da usare come descritto e potresti essere accusato penalmente e ritenuto civile responsabile per potenziale violazione del copyright anche per trasgressione criminale e uso illecito di computer e altre apparecchiature di comunicazione non normalmente autorizzati e che possono rientrare nello statuto di RICO.

È legale da usare? No! Assolutamente no! Non è stato ottenuto con mezzi ordinari né è probabile l'intenzione del gestore del sito Web di esporre dati proprietari. Qualsiasi assenza di un AUP (politica di utilizzo accettabile) non ti aiuterà. Ci sono ipotesi fatte secondo la legge per "uomo ragionevole", "standard ragionevole" e "presupposto ragionevole" che protegge il proprietario del sito Web in questo caso. Non è ragionevole che una persona intelligente utilizzi una "vulnerabilità nella progettazione / creazione" del sito Web per ottenere dati per altri usi. Inoltre, se il sito beneficia delle sue attività, entrano in gioco ulteriori protezioni.

Una cosa che non sembra molto chiara nelle altre risposte qui ...

Che sia "legale" o no, innanzitutto dipende dal paese. Se stiamo parlando degli Stati Uniti, ad esempio, l'utilizzo dei dati non è illegale. Tuttavia, ti consiglierei di utilizzare i dati reali del censimento degli Stati Uniti. Offrono tonnellate di dati attraverso quelli che chiamano prodotti TIGER. Questo set di dati è lo stesso set di dati utilizzato dai professionisti GIS per popolare mappe Bing, mappe Google, ecc.

Tuttavia, sebbene i dati possano essere liberamente disponibili, ciò non significa necessariamente che i dati di questa API esposta siano legalmente disponibili. Dici che è in forma JSON, il che suggerisce che è stato "massaggiato" dal suo formato originale in questo formato - e che il formato personalizzato potrebbe rientrare nella proprietà intellettuale. Quella, Credo, sarebbe illegale da usare a meno che tu non abbia la licenza per usarlo. Come altri qui, non sono un avvocato, ma la società non ha nemmeno bisogno di puntare il dito su di te e chiamarti hacker. I dati proprietari sono dati proprietari, anche se trasmessi involontariamente. Dovresti contattare l'azienda e far loro sapere che tutti questi dati sono esposti al mondo esterno e chiedere l'autorizzazione per usarli. Senza farlo, e avendo questa domanda sullo scambio di stack come prova, sarebbe facile costruire un caso contro di te. In sostanza hai detto "Questo non sembra legittimo, ma mi piace comunque e voglio fare soldi con esso". Ancora una volta, non sono un avvocato, ma non sembra un ottimo modo per iniziare un processo.

Il fatto è, tuttavia, se sei interessato a nomi di città e altri dati geografici, quasi tutti sono disponibili gratuitamente, indipendentemente dal paese. L'ultima volta che lo sapevo, gli Stati Uniti pubblicano la maggior parte dei dati, ma ci sono dati disponibili praticamente per ogni paese. Sono titubante nel dire tutto solo perché sono un programmatore e dimostrare un'affermazione "per tutti" è difficile ... se scegli un paese arbitrario, le possibilità sono più che buone che i dati siano disponibili. Se hai in mente un paese specifico, vai allo scambio GIS Stack . La cosa principale che stai cercando si chiama "shapefile", quindi fai una domanda del tipo "Dove posso trovare shapefile per __________?" C'è anche OpenStreetMapche è una mappa open source. Non sono sicuro di quanto sia facile ottenere i dati del loro file di forma, ma se riesci a ottenerli da loro (e non vedo perché non potresti, puoi eseguire mappe offline basate su localmente informazioni memorizzate), hai tutti i dati di cui hai bisogno e sei legalmente in chiaro. Dovrai dedicare del tempo a massaggiare le enormi quantità di dati fino a ciò che desideri, ma gli shapefile sono sempre molto ben definiti e facili da analizzare.

Mentre closetnoc ha discusso il problema dei dati stessi, c'è una preoccupazione legale più grande: non sei autorizzato ad accedere all'API che offre i dati.

La base per la maggior parte delle leggi sulla criminalità informatica prevede l'idea di "accesso non autorizzato a un sistema informatico". Non si deve confondere questo riferimento all'autorizzazione in senso giuridico con il concetto di autorizzazione quando si tratta di controllo degli accessi. Il proprietario di un sistema non deve proteggere il proprio sistema perché l'accesso ad esso sia illegale, proprio come si continua a violare quando si entra in una casa con una porta aperta.

In questo caso l'apparente mancanza di sicurezza non implica un'autorizzazione per utilizzarla. Il concetto di Internet ha finora pochi precedenti nella giurisprudenza, ma puoi immaginare l'uso del protocollo HTTP 80 per implicare l'autorizzazione pubblica a visualizzare un sito Web. Al contrario, i protocolli RPC in background (anche se potrebbero essere eseguiti su richieste HTTP) non sono generalmente considerati pubblicamente disponibili a meno che l'operatore non pubblichi il servizio in quanto tale, concedendo l'autorizzazione per l'uso a terzi.

Pertanto, l'uso continuo dell'API per il recupero dei dati sarebbe illegale. Anche l'atto di prendere un dump di dati dall'API per creare il proprio set di dati sarebbe illegale. Se l'uso dei dati dopo ciò sia illegale è una gigantesca area grigia ma closetnoc ha coperto la maggior parte delle preoccupazioni.

Naturalmente, se si modifica il dump dei dati dopo che il fatto è irriconoscibile, sarà quasi impossibile dimostrare di aver commesso un crimine. Ma se hai così tanti problemi perché non procurarti invece i dati da una fonte legale?

Probabilmente dipende dalla natura dei dati. I dati puri (pensa alla rubrica telefonica) non possono essere protetti da copyright . Quindi un elenco di città di un'API dovrebbe essere un gioco equo da copiare e mostrare agli utenti. Tuttavia, se tale API ha descrizioni della città, tali descrizioni rientrerebbero nella legge sul copyright e non saresti in grado di usarle senza violare il copyright.

Se riesci a copiare legalmente i dati, ti consiglio di copiarli sul tuo sito per impedire che l'utilizzo dell'API venga chiuso prematuramente.

(IANAL, e le leggi e le norme variano ampiamente in tutto il mondo, ma alcune cose tendono a rimanere coerenti a causa dei trattati IP. Se hai un problema professionale al di fuori della tua specialità, consulta un professionista.)

In genere, legalmente, un'API non è considerata "destinata al consumo pubblico" a meno che non sia attivamente documentata come un'API pubblica, con termini di servizio specifici. Il fatto che il pubblico possa raggiungere l'API non la rende pubblica.

Nei casi in cui lo stato dei dati in sé non è crudamente di pubblico dominio, e in pochi casi in cui chiaramente è di dominio pubblico, l'intento del soggetto che fornisce l'API conta molto. Se l'operatore del sito Web intendeva utilizzare l'API per alimentare una pagina Web dinamica o un'applicazione mobile (per nominare due esempi comuni) qualsiasi altro utilizzo è "non autorizzato" se non specificamente autorizzato da qualche parte. Se il consumatore previsto era un frammento di codice dinamico in una pagina Web specifica, allo scopo di posizionare pixel comprensibili all'uomo su un display in un modo specifico, (si spera) piacevole e utile, qualsiasi altro utilizzo non è autorizzato.

La capacità tecnica di entrare in un edificio attraverso una finestra aperta senza aprire o rompere nulla non ti proteggerà dall'essere arrestato per trasgressione criminale ...

Inoltre, non è quasi mai saggio giocare a giochi di "abilità tecnica" vs "intento originale" con un avvocato di proprietà intellettuale. Se non altro, ricorda che gli avvocati che perdono costantemente quei casi non continuano a essere pagati per loro.

Quello di cui stai parlando probabilmente va bene. Stai collegando ipertestuali alle informazioni e trasformandole.

In Perfect 10, Inc. contro Amazon.com, Inc., [19] il Nono Circuito ha nuovamente considerato se l'uso della miniatura di un motore di ricerca di immagini fosse un uso corretto. Sebbene i fatti fossero in qualche modo più vicini che nel caso di Arriba Soft, il tribunale ha comunque giudicato giusto l'uso dell'autore della violazione perché "fortemente trasformativo". La corte ha spiegato:

Concludiamo che la natura significativamente trasformativa del motore di ricerca di Google, in particolare alla luce del suo beneficio pubblico, supera in questo caso gli usi commerciali e di sostituzione delle anteprime di Google. ... Siamo anche consapevoli della direzione della Corte Suprema secondo cui "più il nuovo lavoro sarà trasformativo, minore sarà il significato di altri fattori, come il commercialismo, che potrebbero pesare sulla conclusione di un uso corretto".

Inoltre, il tribunale ha affrontato in modo specifico lo stato del copyright del collegamento, nella prima decisione d'appello degli Stati Uniti per farlo:

Google non ... visualizza una copia di immagini fotografiche che violano a grandezza naturale ai fini del Copyright Act quando Google incornicia immagini collegate in linea che compaiono sullo schermo del computer di un utente. Poiché i computer di Google non memorizzano le immagini fotografiche, Google non dispone di una copia delle immagini ai fini della legge sul copyright. In altre parole, Google non ha "oggetti materiali ... in cui un'opera è fissata ... e da cui l'opera può essere percepita, riprodotta o altrimenti comunicata" e quindi non può comunicare una copia.Invece di comunicare una copia dell'immagine, Google fornisce istruzioni HTML che indirizzano il browser di un utente al computer di un editore di siti Web che memorizza l'immagine fotografica a grandezza naturale. Fornire queste istruzioni HTML non equivale a mostrare una copia. Innanzitutto, le istruzioni HTML sono righe di testo, non un'immagine fotografica. In secondo luogo, le istruzioni HTML non causano esse stesse la visualizzazione delle immagini in violazione sullo schermo del computer dell'utente. L'HTML fornisce semplicemente l'indirizzo dell'immagine al browser dell'utente. Il browser quindi interagisce con il computer che memorizza l'immagine in violazione. È questa interazione che fa apparire un'immagine in violazione sullo schermo del computer dell'utente. Google può facilitare l'accesso dell'utente alle immagini in violazione. Tuttavia, tale assistenza ha sollevato solo problemi di responsabilità contributiva e non costituisce una violazione diretta dei diritti di visualizzazione del proprietario del copyright. ... Mentre il collegamento e l'inquadramento in linea possono indurre alcuni utenti di computer a credere di visualizzare una singola pagina Web di Google, il Copyright Act, a differenza del Trademark Act, non protegge un detentore del copyright da atti che causano confusione nei consumatori.

Stato della legge statunitense dopo Arriba Soft and Perfect 10

Il caso Arriba Soft ha sostenuto la proposta secondo cui il collegamento diretto e la riproduzione effettiva in copie di dimensioni ridotte (o la preparazione di opere derivate di dimensioni ridotte) erano entrambi scusabili come uso corretto perché l'uso del lavoro dell'imputato non ha effettivamente o potenzialmente deviato il commercio in il mercato fin dal primo lavoro; e ha anche fornito al pubblico una funzione precedentemente non disponibile, molto utile del tipo che la legge sul copyright esiste per promuovere (trovare le informazioni desiderate sul Web). Il caso Perfect 10 ha comportato considerazioni simili, ma è stato coinvolto più di un bilanciamento degli interessi. La condotta è stata scusata perché il valore per il pubblico della funzione altrimenti non disponibile e utile ha superato l'impatto di Perfect 10 sull'uso forse superabile di Google.

Inoltre, in Perfect 10, il tribunale ha stabilito un precedente di vasta portata a favore del collegamento e dell'inquadratura, che il tribunale ha dato un passaggio completo sotto copyright. Ha concluso che "il collegamento e l'inquadramento in linea possono indurre alcuni utenti di computer a credere che stiano visualizzando una singola pagina Web di Google, [ma] il Copyright Act ... non protegge un detentore del copyright da atti che causano confusione nei consumatori".

Enfasi mia. linky

Stai semplicemente usando un collegamento ipertestuale, non stai facendo una copia, non stai visualizzando una copia, non stai danneggiando gli interessi commerciali e lo stai trasformando molto. Direi che hai bisogno di ogni elemento per andare bene. Ma IANAL.

È legale fintanto che non è necessario inserire una password per ottenerla, ma alcune aziende meno sofisticate possono rivendicare l'hacking e comunque un avvocato. Devi essere pronto a difenderti. Sarai ritenuto non colpevole, poiché stanno pubblicando i loro dati al pubblico, ma potrebbe costare difendersi. Procuratori e poliziotti rimandano alle corporazioni. Ciò accade spesso negli avvisi di sicurezza, in cui qualcuno notificherà a una società un buco nella sicurezza, quindi la società li accuserà di hacking. La società è anche libera di modificare l'API senza preavviso, eventualmente rompendo la tua app.

http://www.extremetech.com/computing/146323-canadian-college-expels-student-for-white-hat-security-probing

Fermami se lo hai già sentito prima: un appassionato di tecnologia diventa leggermente zelante nel controllare le falle della sicurezza, trova una vulnerabilità significativa, si fa avanti con le informazioni e vengono quindi messe in atto minacce legali e personali.

http://www.bostonglobe.com/metro/2014/03/29/the-inside-story-mit-and-aaron-swartz/YvJZ5P6VHaPJusReuaN7SI/story.html

L'intruso si nascondeva da qualche parte nel campus del MIT, scaricando articoli di riviste accademiche a centinaia di migliaia.