Sto installando i pacchetti da requirements.txt

pip install -r requirements.txt

Il requirements.txtfile dice:

Pillow
lxml
cssselect
jieba
beautifulsoup
nltk

lxmlè l'unico pacchetto che non riesce a installare e questo porta a tutto ciò che fallisce (risultati attesi, come sottolineato da Larsks nei commenti). Tuttavia, dopo lxmlnon riesce pipancora scorre e scarica il resto dei pacchetti.

Da quello che ho capito il pip install -r requirements.txtcomando fallirà se uno dei pacchetti elencati nel requirements.txtnon riesce a installare.

C'è qualche argomento che posso passare durante l'esecuzione pip install -r requirements.txtper dirgli di installare ciò che può e saltare i pacchetti che non può o di uscire non appena vede qualcosa che non riesce?

L'esecuzione di ogni riga con pip installpuò essere una soluzione alternativa.

cat requirements.txt | xargs -n 1 pip install

Nota: il -aparametro non è disponibile in MacOS, quindi il vecchio gatto è più portatile.

Questa soluzione gestisce righe vuote, righe di spazi bianchi, # righe di commento, righe di spazi bianchi quindi # nel vostro requisito.txt.

cat requirements.txt | sed -e '/^\s*#.*$/d' -e '/^\s*$/d' | xargs -n 1 pip install

Punta del cappello a questa risposta per la magia sed.

Per Windows:

versione pip> = 18

import sys
from pip._internal import main as pip_main

def install(package):
    pip_main(['install', package])

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        for line in f:
            install(line)

versione pip <18

import sys
import pip

def install(package):
    pip.main(['install', package])

if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        for line in f:
            install(line)

La xargssoluzione funziona ma può avere problemi di portabilità (BSD / GNU) e / o essere ingombrante se nel file dei requisiti sono presenti commenti o righe vuote.

Per quanto riguarda il caso in cui un tale comportamento sarebbe richiesto, ad esempio uso due file di requisiti separati, uno che elenca solo dipendenze core che devono essere sempre installate e un altro file con dipendenze non core che si trovano nel 90% dei casi non necessario per la maggior parte dei casi d'uso. Sarebbe un equivalente della Recommendssezione di un pacchetto debian.

Uso il seguente script di shell (richiede sed) per installare dipendenze opzionali :

#!/bin/sh

while read dependency; do
    dependency_stripped="$(echo "${dependency}" | sed -e 's/^[[:space:]]*//' -e 's/[[:space:]]*$//')"
    # Skip comments
    if [[ $dependency_stripped == \#* ]]; then
        continue
    # Skip blank lines
    elif [ -z "$dependency_stripped" ]; then
        continue
    else
        if pip install "$dependency_stripped"; then
            echo "$dependency_stripped is installed"
        else
            echo "Could not install $dependency_stripped, skipping"
        fi
    fi
done < recommends.txt

Grazie, Etienne Prothon per i casi Windows.

Ma, dopo l'aggiornamento a pip 18, il pacchetto pip non espone main al pubblico. Quindi potrebbe essere necessario modificare il codice in questo modo.

 # This code install line by line a list of pip package 
 import sys
 from pip._internal import main as pip_main

 def install(package):
    pip_main(['install', package])

 if __name__ == '__main__':
    with open(sys.argv[1]) as f:
        for line in f:
            install(line)

Per Windows:

import os
from pip.__main__ import _main as main

error_log = open('error_log.txt', 'w')

def install(package):
    try:
        main(['install'] + [str(package)])
    except Exception as e:
        error_log.write(str(e))

if __name__ == '__main__':
    f = open('requirements1.txt', 'r')
    for line in f:
        install(line)
    f.close()
    error_log.close()

1. Crea una directory locale e inserisci il tuo requirements.txtfile.
2. Copia il codice sopra e salvalo come file Python nella stessa directory. Ricorda di usare l' .pyestensione, ad esempio,install_packages.py
3. Esegui questo file usando un cmd: python install_packages.py
4. Tutti i pacchetti citati verranno installati in una volta sola senza fermarsi affatto. :)

È possibile aggiungere altri parametri nella funzione di installazione. Piace: main(['install'] + [str(package)] + ['--update'])