Come potrei usare le richieste in asyncio?

Voglio svolgere attività di richiesta http parallele asyncio, ma trovo che python-requestsbloccherebbe il ciclo degli eventi di asyncio. Ho trovato aiohttp ma non è stato in grado di fornire il servizio di richiesta http utilizzando un proxy http.

Quindi voglio sapere se c'è un modo per fare richieste http asincrone con l'aiuto di asyncio.

Per utilizzare le richieste (o qualsiasi altra libreria di blocco) con asyncio, è possibile utilizzare BaseEventLoop.run_in_executor per eseguire una funzione in un altro thread e cedere da essa per ottenere il risultato. Per esempio:

import asyncio
import requests

@asyncio.coroutine
def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = yield from future1
    response2 = yield from future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Ciò otterrà entrambe le risposte in parallelo.

Con Python 3.5 è possibile utilizzare la sintassi new await/ async:

import asyncio
import requests

async def main():
    loop = asyncio.get_event_loop()
    future1 = loop.run_in_executor(None, requests.get, 'http://www.google.com')
    future2 = loop.run_in_executor(None, requests.get, 'http://www.google.co.uk')
    response1 = await future1
    response2 = await future2
    print(response1.text)
    print(response2.text)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

Vedi PEP0492 per di più.

aiohttp può essere già utilizzato con proxy HTTP:

import asyncio
import aiohttp


@asyncio.coroutine
def do_request():
    proxy_url = 'http://localhost:8118'  # your proxy address
    response = yield from aiohttp.request(
        'GET', 'http://google.com',
        proxy=proxy_url,
    )
    return response

loop = asyncio.get_event_loop()
loop.run_until_complete(do_request())

Le risposte sopra stanno ancora usando le vecchie coroutine in stile Python 3.4. Ecco cosa scriveresti se avessi Python 3.5+.

aiohttp supporta ora il proxy http

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    urls = [
            'http://python.org',
            'https://google.com',
            'http://yifei.me'
        ]
    tasks = []
    async with aiohttp.ClientSession() as session:
        for url in urls:
            tasks.append(fetch(session, url))
        htmls = await asyncio.gather(*tasks)
        for html in htmls:
            print(html[:100])

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

Le richieste al momento non supportano asyncioe non ci sono piani per fornire tale supporto. È probabile che tu possa implementare un "adattatore di trasporto" personalizzato (come discusso qui ) che sa come usare asyncio.

Se mi ritrovo con un po 'di tempo è qualcosa che potrei davvero esaminare, ma non posso promettere nulla.

C'è un buon caso di loop asincroni / wait e threading in un articolo di Pimin Konstantin Kefaloukos Richieste HTTP parallele facili con Python e asyncio :

Per ridurre al minimo il tempo totale di completamento, è possibile aumentare le dimensioni del pool di thread in modo che corrispondano al numero di richieste da effettuare. Fortunatamente, questo è facile da fare come vedremo dopo. Il seguente elenco di codice è un esempio di come effettuare venti richieste HTTP asincrone con un pool di thread di venti thread di lavoro:

# Example 3: asynchronous requests with larger thread pool
import asyncio
import concurrent.futures
import requests

async def main():

    with concurrent.futures.ThreadPoolExecutor(max_workers=20) as executor:

        loop = asyncio.get_event_loop()
        futures = [
            loop.run_in_executor(
                executor, 
                requests.get, 
                'http://example.org/'
            )
            for i in range(20)
        ]
        for response in await asyncio.gather(*futures):
            pass


loop = asyncio.get_event_loop()
loop.run_until_complete(main())