C'è un modo per usare PhantomJS in Python?

Voglio usare PhantomJS in Python . Ho cercato su Google questo problema ma non sono riuscito a trovare soluzioni adeguate.

Trovo che os.popen() possa essere una buona scelta. Ma non ho potuto passare alcuni argomenti ad esso.

L'uso subprocess.Popen()potrebbe essere una soluzione adeguata per ora. Voglio sapere se esiste una soluzione migliore o meno.

C'è un modo per usare PhantomJS in Python?

Il modo più semplice di usare PhantomJS in Python è tramite Selenium. Il metodo di installazione più semplice è

1. Installa NodeJS
2. Utilizzando il gestore pacchetti di Node installa phantomjs: npm -g install phantomjs-prebuilt
3. installa selenio (nel tuo virtualenv, se lo stai usando)

Dopo l'installazione, è possibile utilizzare Phantom semplice come:

from selenium import webdriver

driver = webdriver.PhantomJS() # or add to your PATH
driver.set_window_size(1024, 768) # optional
driver.get('https://google.com/')
driver.save_screenshot('screen.png') # save a screenshot to disk
sbtn = driver.find_element_by_css_selector('button.gbqfba')
sbtn.click()

Se la variabile di ambiente del percorso di sistema non è impostata correttamente, è necessario specificare il percorso esatto come argomento per webdriver.PhantomJS(). Sostituisci questo:

driver = webdriver.PhantomJS() # or add to your PATH

... con il seguente:

driver = webdriver.PhantomJS(executable_path='/usr/local/lib/node_modules/phantomjs/lib/phantom/bin/phantomjs')

Riferimenti:

• http://selenium-python.readthedocs.io/
• Come posso impostare un proxy per phantomjs / ghostdriver in python webdriver?
• https://dzone.com/articles/python-testing-phantomjs

PhantomJS ha recentemente abbandonato del tutto il supporto Python . Tuttavia, PhantomJS ora incorpora Ghost Driver .

Dal momento che un nuovo progetto ha intensificato per riempire il vuoto: ghost.py. Probabilmente vorrai usarlo invece:

from ghost import Ghost
ghost = Ghost()

with ghost.start() as session:
    page, extra_resources = ghost.open("http://jeanphi.me")
    assert page.http_status==200 and 'jeanphix' in ghost.content

Da quando GhostDriver viene fornito in bundle con PhantomJS, è diventato ancora più conveniente utilizzarlo tramite Selenium.

Ho provato l'installazione Node di PhantomJS, come suggerito da Pykler, ma in pratica l'ho trovata più lenta dell'installazione standalone di PhantomJS. Immagino che l'installazione autonoma non abbia fornito queste funzionalità in precedenza, ma a partire dalla v1.9, lo fa molto.

1. Installa PhantomJS ( http://phantomjs.org/download.html ) (Se usi Linux, seguire le istruzioni ti aiuterà https://stackoverflow.com/a/14267295/382630 )
2. Installa Selenium usando pip.

Ora puoi usare così

import selenium.webdriver
driver = selenium.webdriver.PhantomJS()
driver.get('http://google.com')
# do some processing

driver.quit()

Ecco come testare javascript usando PhantomJS e Django:

mobile / test_no_js_errors.js :

var page = require('webpage').create(),
    system = require('system'),
    url = system.args[1],
    status_code;

page.onError = function (msg, trace) {
    console.log(msg);
    trace.forEach(function(item) {
        console.log('  ', item.file, ':', item.line);
    });
};

page.onResourceReceived = function(resource) {
    if (resource.url == url) {
        status_code = resource.status;
    }
};

page.open(url, function (status) {
    if (status == "fail" || status_code != 200) {
        console.log("Error: " + status_code + " for url: " + url);
        phantom.exit(1);
    }
    phantom.exit(0);
});

mobile / tests.py :

import subprocess
from django.test import LiveServerTestCase

class MobileTest(LiveServerTestCase):
    def test_mobile_js(self):
        args = ["phantomjs", "mobile/test_no_js_errors.js", self.live_server_url]
        result = subprocess.check_output(args)
        self.assertEqual(result, "")  # No result means no error

Esegui test :

manage.py test mobile

La risposta di @Pykler è ottima ma il requisito del nodo è obsoleto. I commenti in quella risposta suggeriscono la risposta più semplice, che ho messo qui per risparmiare tempo agli altri:

1. Installa PhantomJS

   Come sottolinea @ Vivin-Paliath, è un progetto autonomo, non parte di Node.

   Mac:

   brew install phantomjs

   Ubuntu:

   sudo apt-get install phantomjs

   eccetera

2. Imposta un virtualenv(se non l'hai già fatto):

   virtualenv mypy  # doesn't have to be "mypy". Can be anything.
   . mypy/bin/activate

   Se la tua macchina ha sia Python 2 che 3, potresti aver bisogno di eseguire virtualenv-3.6 mypyo simili.

3. Installa selenio:

   pip install selenium

4. Prova un semplice test, come questo preso in prestito dai documenti :

   from selenium import webdriver
   from selenium.webdriver.common.keys import Keys
   
   driver = webdriver.PhantomJS()
   driver.get("http://www.python.org")
   assert "Python" in driver.title
   elem = driver.find_element_by_name("q")
   elem.clear()
   elem.send_keys("pycon")
   elem.send_keys(Keys.RETURN)
   assert "No results found." not in driver.page_source
   driver.close()

questo è quello che faccio, python3.3. Stavo elaborando enormi elenchi di siti, quindi il fallimento del timeout era vitale per il lavoro da eseguire attraverso l'intero elenco.

command = "phantomjs --ignore-ssl-errors=true "+<your js file for phantom>
process = subprocess.Popen(command, shell=True, stdout=subprocess.PIPE)

# make sure phantomjs has time to download/process the page
# but if we get nothing after 30 sec, just move on
try:
    output, errors = process.communicate(timeout=30)
except Exception as e:
    print("\t\tException: %s" % e)
    process.kill()

# output will be weird, decode to utf-8 to save heartache
phantom_output = ''
for out_line in output.splitlines():
    phantom_output += out_line.decode('utf-8')

Se si utilizza Anaconda, installare con:

conda install PhantomJS

nella tua sceneggiatura:

from selenium import webdriver
driver=webdriver.PhantomJS()

funziona perfettamente.

Nel caso in cui si utilizzi Buildout , è possibile automatizzare facilmente i processi di installazione descritti da Pykler utilizzando la ricetta gp.recipe.node .

[nodejs]
recipe = gp.recipe.node
version = 0.10.32
npms = phantomjs
scripts = phantomjs

Quella parte installa node.js come binario (almeno sul mio sistema) e quindi utilizza npm per installare PhantomJS. Alla fine crea un punto di ingresso bin/phantomjs, con il quale è possibile chiamare il webdriver PhantomJS. (Per installare Selenium, è necessario specificarlo nei requisiti dell'uovo o nella configurazione Buildout.)

driver = webdriver.PhantomJS('bin/phantomjs')