Quali sono le alternative ora che l'API di ricerca web di Google è stata deprecata? [chiuso]

322

L'API di ricerca Web di Google è stata deprecata e sostituita con l'API di ricerca personalizzata (vedi http://code.google.com/apis/websearch/ ).

Volevo cercare in tutto il Web ma sembra che con la nuova API sia possibile cercare solo siti personalizzati.

C'è un modo per cercare l'intero web a livello di codice? Sono stato in grado di interrogare la vecchia API usando JSON da un programma Java.

— Dan
fonte

3

OK, ho fatto molte ricerche su questo e sembra che l'unica soluzione sia Yahoo Boss

— Dan

L'API di ricerca personalizzata non è ciò che la maggior parte delle persone sta cercando: - / Dai un'occhiata a searchapi.io !

— Stan Smulders,

Ho eseguito POC su varie API di ricerca che forniscono molte funzionalità e sono molto facili da implementare in pochi minuti. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) sono anche le API che ho implementato e testato. Potrei fornire anche una risposta dettagliata ma questa domanda è chiusa.

— Ashish Kumar,

2

La soluzione migliore è utilizzare un servizio di terze parti come SerpApi

— Hartator,

masswerk.at/googleBBS

— neverMind9

32

Potresti semplicemente inviarli come fa un browser e quindi analizzare l'html, questo è quello che ho sempre fatto, anche per cose come Youtube.

— Zimm3r
fonte

64

mi è stato detto che i termini di servizio di Google vietano il ragno ...

— Steven A. Lowe,

52

Dal TOS : "Accetti espressamente di non accedere (o tentare di accedere) a nessuno dei Servizi tramite alcun mezzo automatizzato (incluso l'uso di script o crawler web) ..."

— ændrük

18

"Violare i termini di servizio con un fornitore di servizi" non è mai un buon consiglio. L'analisi delle pagine Web è qualcosa che si interrompe da un giorno all'altro senza preavviso, questo è un consiglio terribile - questa è la ragione per cui è stato declassato più che è stato votato.

— WhyNotHugo,

143

Sì, infrange i termini del servizio, ma personalmente non me ne preoccuperei. Google può gestire un po 'di raschiatura, dopo tutto hanno fatto fortuna sfregando i siti di altre persone.

— jimbo2087,

106

Andiamo gente. Non essere così ingenuo. Google non può forzare quel ToS in gola. Per violare un ToS devi prima accettarlo (per iscritto o facendo clic su un pulsante del tipo "Sì, accetto i termini"). Pensa a questo: ho messo un ToS sulla mia pagina web che ogni persona che visita quella pagina deve darmi $ 10000. Posso applicare questo ToS ai miei visitatori? Dovrò forse farmi immediatamente.

— Migrate2Lazarus guarda il mio profilo il

482

Sì, Google Custom Search ora ha sostituito il vecchio Search API, ma si può ancora usare Google Custom Search per cercare l'intero web , anche se i passaggi non sono evidenti dal setup Custom Search.

Per creare un motore di ricerca personalizzato di Google che ricerca in tutto il Web:

Dalla home page di Ricerca personalizzata di Google ( http://www.google.com/cse/ ), fai clic su Crea un motore di ricerca personalizzato.
Digita un nome e una descrizione per il tuo motore di ricerca.
In Definisci il tuo motore di ricerca, nella casella Siti da cercare, inserisci almeno un URL valido (per ora, inserisci www.anyurl.com per superare questa schermata. Altre informazioni più avanti).
Seleziona l'edizione CSE desiderata e accetta i Termini di servizio, quindi fai clic su Avanti. Selezionare l'opzione di layout desiderata, quindi fare clic su Avanti.
Fai clic su uno dei collegamenti nella sezione Passaggi successivi per accedere al tuo pannello di controllo.
Nel menu a sinistra, sotto Pannello di controllo, fai clic su Informazioni di base.
Nella sezione Preferenze di ricerca, seleziona Cerca in tutto il Web ma dai risalto ai siti inclusi.
Fai clic su Salva modifiche.
Nel menu a sinistra, sotto Pannello di controllo, fai clic su Siti.
Elimina il sito inserito durante la procedura di configurazione iniziale.

Ora il tuo motore di ricerca personalizzato cercherà in tutto il Web.

Prezzi

Ricerca personalizzata Google ti offre 100 query al giorno gratuitamente.
Successivamente paghi $ 5 per 1000 query.
Vi è un massimo di 10.000 query al giorno.

Fonte: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

La qualità della ricerca è molto inferiore alla normale ricerca di Google (senza sinonimi, "intelligenza" ecc.)
Sembra che Google stia anche pianificando di chiudere completamente questo servizio.

— Bangkokian
fonte

26

Grazie per questo. Speriamo che questa sia una procedura valida e non una scappatoia in attesa di essere collegata da Google!

— Mazatec,

9

Grazie! Questa è forse l'unica risposta su Internet che ha risposto alla mia domanda. È sbalorditivo il motivo per cui Google avrebbe posto fine al supporto API diretto per il suo servizio principale.

— spamguy

7

ma come usarlo con json?

— nawara,

61

ATTENZIONE: abbiamo fatto lo sviluppo utilizzando la versione gratuita, ma per passare alla versione a pagamento (per fare più di 100 ricerche), google ti costringe a disattivare la "ricerca in tutto il web ma enfatizzare i siti inclusi"

— Bryan Larsen,

5

"Il 1 ° aprile 2017, Google interromperà le vendite di Google Site Search. Tutti i nuovi acquisti e rinnovi devono aver luogo prima di tale data. Il prodotto verrà completamente chiuso entro il 1 ° aprile 2018."

— Gajus

55

La Ricerca personalizzata di Google (come indicato nelle risposte più votate) funziona bene, ma è molto costosa, rispetto ai suoi concorrenti (sotto) o rispetto ad altre API di Google. Ha un piccolo livello gratuito (100 query / giorno) e un prezzo molto alto di $ 5 per 1000 query.

Offrono la possibilità di passare a Ricerca su sito, che ha prezzi leggermente migliori, ma è pensato per la ricerca di un sito (il tuo), quindi è davvero qualcosa di completamente diverso, non un aggiornamento.

Le principali alternative sembrano essere:

API di ricerca Bing
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
che ha un livello gratuito di 5000q / mese e prezzi a partire da 5 query per penny e nessun limite rigido.

AGGIORNAMENTO: Alla fine del 2016 questa API è stata chiusa a favore della sua controparte di Azure "API di ricerca di servizi cognitivi":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Vedi qui per un grafico dei prezzi, che inizia a US $ 3 / m per 1.000 transazioni. A meno che non mi manchi qualcosa, è piuttosto costoso.

Aggiornamento dell'API di ricerca di Yahoo BOSS
: interrotto il 31 marzo 2016. http://developer.yahoo.com/boss/search/
Con prezzi a partire da circa 12 query / penny per ricerche web complete.

E alcuni di cui non ho mai sentito parlare prima:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[fuori produzione - come indicato di seguito]

C'è un po 'di discussione di alcuni di questi su questo post SO .
[è stato chiuso per essere fuori tema e ora non c'è più]

— Tom
fonte

2

L'API di Bing Search versione 5 ora consente fino a 1.000 transazioni al mese su tutte le API di Bing Search (Web, immagini, video, ricerca di notizie) - microsoft.com/cognitive-services/en-us/pricing . Ho messo insieme alcuni campioni - mvark.blogspot.in/2016/06/…

— mvark

wholeweb.com ha interrotto il servizio come mostrato qui wholeweb.com/services

— Wessam El Mahdy

il 15 dicembre 2016 l'API di ricerca Web di Bing si sposterà in Servizi cognitivi da Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), che richiedono una verifica telefonica + carta di credito per un abbonamento (anche uno gratuito).

— Gilad Mayani,

Dall'API di Bing: "DataMarket e Data Services verranno ritirati e smetteranno di accettare nuovi ordini dopo il 31/12/2016. Gli abbonamenti esistenti verranno ritirati e annullati a partire dal 31/03/2017. Per favore, contatta il tuo fornitore di servizi per le opzioni se desidera continuare il servizio ".

— Dmitri Zaitsev,

Grazie per aver sottolineato la modifica: ho aggiornato la risposta di conseguenza.

— Tom,

27

Ecco un'opzione nella parte inferiore del pannello di controllo della ricerca personalizzata: "Siti da cercare" , puoi scegliere "Cerca in tutto il Web ma dai risalto ai siti inclusi"

Pannello di controllo della ricerca personalizzata - Siti da cercare

— Yishu Fang
fonte

1

funziona ancora per te?

— Dejell,

Sì, funziona ancora.

5

Google ti costringe a disattivare tale opzione quando esegui l'upgrade alla ricerca a pagamento. E gratuito ha un limite di 100 ricerche.

— Bryan Larsen,

1

@Yishu, Perché la pagina https://support.google.com/customsearch/answer/141877?hl=it indica " Non è possibile configurare Google Site Search per effettuare ricerche in tutto il Web "?

— Pacerier,

@Pacerier, non ne ho idea. Forse la politica è cambiata?

— Yishu Fang,

14

Faroo ha un'API di ricerca Web gratuita

— Jack
fonte

I risultati ottenuti sono limitati ma un buon punto di partenza.

— afro360,

@ Jack, non ne ho mai sentito parlare prima. Da dove ottengono i loro risultati di ricerca?

— Pacerier,

7

La possibile violazione dell'accordo per Faroo è che la tua chiave API è limitata all'indirizzo IP specificato durante la registrazione.

— Eccezione non rilevata

6

Questi ragazzi sono ancora operativi? Ho richiesto le chiavi API e non ho sentito nulla.

— Paul Whelan,

5

Ho appena trovato questo dal Common Crawl.

http://www.commoncrawl.org/

Potrebbe essere la risposta che tutti stiamo cercando !!

— Dan
fonte

3

Ha un indice limitato, aggiornato circa una volta all'anno. Ed è finalmente piuttosto costoso, poiché devi collegarti ad Amazon S3.

— Guillaume Lebourgeois,

@GuillaumeLebourgeois, Caro? Non penso sia vero. È senza scopo di lucro. L'intero 102 TB di dati è gratuito per il download.

— Pacerier,

Il costo è per la connessione ad AWS dove è possibile accedervi. Se sei uno studente, hai diritto al loro livello gratuito, ma potrebbero esserci ancora costi di trasferimento, ecc. e se non sei nel livello gratuito, ci sono costi di gestione.

— tripleee,

Sembra che il crawl comune sia aggiornato mensilmente ora

— Jack Tuck,

4

C'è una nota in cima ai documenti :

Nota: l'API di ricerca Web di Google è stata ufficialmente deprecata dal 1 ° novembre 2010. Continuerà a funzionare secondo le nostre norme sull'ammortamento , ma il numero di richieste che è possibile effettuare al giorno sarà limitato. Pertanto, ti invitiamo a passare alla nuova API di ricerca personalizzata .

La politica di ammortamento afferma che continueranno a eseguire l'API per 3 anni. Quindi, se hai già un'applicazione che utilizza la vecchia API, non devi affrettarti a cambiare le cose ancora. Se stai scrivendo una nuova applicazione, utilizza l' API di ricerca personalizzata . Vedi la mia risposta qui per come farlo in Python, ma l'idea è la stessa per qualsiasi lingua.

— moinudin
fonte

8

E non è gratuito .... "$ 5 per 1000 query" ... molto non gratis!

— UpTheCreek il

1

Questa risposta è ormai obsoleta poiché i tre anni sono scaduti e il 29/09/2014 è passato.

— nanofarad,

CustomeSearchAPI non è presente in tutti i siti Web - è per i siti Web degli utenti

— Dejell,

3

C'è un'API Java gratuita chiamata JFreeWebSearch che utilizza il già citato Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch

— Heiko
fonte

1

Puoi creare un motore di ricerca personalizzato "ovunque" direttamente dalla home page di Ricerca personalizzata di Google ( http://www.google.com/cse/ ). Dovresti semplicemente fare clic su "Avanzate", durante l'aggiunta di un nuovo motore. Lì puoi fornire il tipo di sito Schema.org. " Cosa " è il tipo più generico, che copre tutto il web.

— testlnord
fonte

Non l'ho capito. Per te funziona?

— Dejell,

0

Gigablast offre un'API di ricerca web economica: http://www.gigablast.com/searchfeed.html

— jman
fonte