È possibile aggiornare contemporaneamente tutti i pacchetti Python pip?

Nota : esiste una richiesta di funzionalità per questo sul tracker dei problemi ufficiale.

Non c'è ancora un flag incorporato, ma puoi usarlo

pip list --outdated --format=freeze | grep -v '^\-e' | cut -d = -f 1  | xargs -n1 pip install -U

Nota: ci sono infinite potenziali variazioni per questo. Sto cercando di mantenere questa risposta breve e semplice, ma ti preghiamo di suggerire variazioni nei commenti!

Nella versione precedente di pip, è possibile utilizzare questo invece:

pip freeze --local | grep -v '^\-e' | cut -d = -f 1  | xargs -n1 pip install -U

Il grepè di saltare modificabili ( "-e") delle definizioni di pacchetto, come suggerito da @jawache. (Sì, è possibile sostituire grep+ cutcon sedo awkoperl o ...).

Il -n1flag per xargsimpedisce di interrompere tutto se l'aggiornamento di un pacchetto fallisce (grazie a @andsens ).

Puoi usare il seguente codice Python. Diversamente pip freeze, questo non stamperà avvisi ed errori FIXME. Per pip <10.0.1

import pip
from subprocess import call

packages = [dist.project_name for dist in pip.get_installed_distributions()]
call("pip install --upgrade " + ' '.join(packages), shell=True)

Per pip> = 10.0.1

import pkg_resources
from subprocess import call

packages = [dist.project_name for dist in pkg_resources.working_set]
call("pip install --upgrade " + ' '.join(packages), shell=True)

Per aggiornare tutti i pacchetti locali; potresti usare pip-review:

$ pip install pip-review
$ pip-review --local --interactive

pip-reviewè un fork di pip-tools. Vedi il pip-toolsproblema menzionato da @knedlsepp . pip-reviewpacchetto funziona mapip-tools pacchetto non funziona più.

pip-reviewfunziona su Windows dalla versione 0.5 .

Funziona su Windows. Dovrebbe essere buono anche per gli altri. ($ è la directory in cui ti trovi, nel prompt dei comandi, ad es. C: / Utenti / Nome utente>)

fare

$ pip freeze > requirements.txt

aprire il file di testo, sostituire il ==con >=ed eseguire

$ pip install -r requirements.txt --upgrade

Se hai un problema con un certo pacchetto che blocca l'aggiornamento (a volte numpy), vai alla directory ($), commenta il nome (aggiungi un # prima di esso) ed esegui nuovamente l'aggiornamento. Successivamente puoi rimuovere il commento da quella sezione. Questo è ottimo anche per la copia di ambienti globali Python.

Un altro modo:

Mi piace anche il metodo pip-review:

py2
$ pip install pip-review

$ pip-review --local --interactive

py3
$ pip3 install pip-review

$ py -3 -m pip_review --local --interactive

È possibile selezionare 'a' per aggiornare tutti i pacchetti; se un aggiornamento fallisce, eseguirlo di nuovo e continua con quello successivo.

Versione di Windows dopo aver consultato eccellente documentazione per FORRob van der Woude

for /F "delims===" %i in ('pip freeze -l') do pip install -U %i

Usa pipupgrade !

$ pip install pipupgrade
$ pipupgrade --verbose --latest --yes

pipupgrade ti aiuta ad aggiornare il tuo sistema, locale o pacchetti da un requirements.txtfile! Aggiorna anche selettivamente i pacchetti che non interrompono il cambiamento. pipupgrade assicura anche di aggiornare i pacchetti presenti all'interno di più ambienti Python. Compatibile con Python2.7 +, Python3.4 + e pip9 +, pip10 +, pip18 +, pip19 +.

NOTA: sono l'autore dello strumento.

Puoi semplicemente stampare i pacchetti obsoleti

pip freeze | cut -d = -f 1 | xargs -n 1 pip search | grep -B2 'LATEST:'

Questa opzione mi sembra più semplice e leggibile:

pip install -U `pip list --outdated | awk 'NR>2 {print $1}'`

La spiegazione è che pip list --outdatedgenera un elenco di tutti i pacchetti obsoleti in questo formato:

Package   Version Latest Type 
--------- ------- ------ -----
fonttools 3.31.0  3.32.0 wheel
urllib3   1.24    1.24.1 wheel
requests  2.20.0  2.20.1 wheel

Nel comando awk, NR>2salta i primi due record (righe) e {print $1}seleziona la prima parola di ogni riga (come suggerito da SergioAraujo, ho rimosso tail -n +3dal momento che awkpuò effettivamente saltare i record).

Il seguente one-liner potrebbe essere di aiuto:

(pip> 20,0)

pip list --format freeze --outdated | sed 's/=.*//g' | xargs -n1 pip install -U

Versioni precedenti:

pip list --format freeze --outdated | sed 's/(.*//g' | xargs -n1 pip install -U

xargs -n1 continua se si verifica un errore.

Se hai bisogno di un controllo più "granulare" su ciò che viene omesso e ciò che genera un errore, non dovresti aggiungere il -n1flag e definire esplicitamente gli errori da ignorare, "convogliando" la seguente riga per ogni errore separato:

| sed 's/^<First characters of the error>.*//'

Ecco un esempio funzionante:

pip list --format freeze --outdated | sed 's/=.*//g' | sed 's/^<First characters of the first error>.*//' | sed 's/^<First characters of the second error>.*//' | xargs pip install -U

Soluzione più robusta

Per pip3 usare questo:

pip3 freeze --local |sed -rn 's/^([^=# \t\\][^ \t=]*)=.*/echo; echo Processing \1 ...; pip3 install -U \1/p' |sh

Per pip, basta rimuovere i 3 come tali:

pip freeze --local |sed -rn 's/^([^=# \t\\][^ \t=]*)=.*/echo; echo Processing \1 ...; pip install -U \1/p' |sh

Stranezze OSX

OSX, a partire da luglio 2017, viene fornito con una versione molto vecchia di sed (una dozzina di anni). Per ottenere espressioni regolari estese, utilizzare -E anziché -r nella soluzione sopra.

Risoluzione di problemi con soluzioni popolari

Questa soluzione è ben progettata e testata ¹ , mentre ci sono problemi anche con le soluzioni più popolari.

• Problemi di portabilità dovuti alla modifica delle funzionalità della riga di comando pip
• Arresto anomalo di xargs a causa di errori comuni nei processi figlio pip o pip3
• Registrazione affollata dall'output xargs non elaborato
• Affidarsi a un bridge Python-to-OS durante l'aggiornamento potenziale ³

Il comando sopra usa la sintassi pip più semplice e portatile in combinazione con sed e sh per superare completamente questi problemi. I dettagli dell'operazione sed possono essere esaminati con la versione commentata ² .

Dettagli

[1] Testato e utilizzato regolarmente in un cluster Linux 4.8.16-200.fc24.x86_64 e testato su altre cinque versioni Linux / Unix. Funziona anche su Cygwin64 installato su Windows 10. Sono necessari test su iOS.

[2] Per vedere più chiaramente l'anatomia del comando, questo è esattamente l'equivalente del comando pip3 sopra con commenti:

# match lines from pip's local package list output
# that meet the following three criteria and pass the
# package name to the replacement string in group 1.
# (a) Do not start with invalid characters
# (b) Follow the rule of no white space in the package names
# (c) Immediately follow the package name with an equal sign
sed="s/^([^=# \t\\][^ \t=]*)=.*"

# separate the output of package upgrades with a blank line
sed="$sed/echo"

# indicate what package is being processed
sed="$sed; echo Processing \1 ..."

# perform the upgrade using just the valid package name
sed="$sed; pip3 install -U \1"

# output the commands
sed="$sed/p"

# stream edit the list as above
# and pass the commands to a shell
pip3 freeze --local |sed -rn "$sed" |sh

[3] L'aggiornamento di un componente Python o PIP utilizzato anche nell'aggiornamento di un componente Python o PIP può essere una potenziale causa di un deadlock o di un danneggiamento del database dei pacchetti.

Questo sembra più conciso.

pip list --outdated | cut -d ' ' -f1 | xargs -n1 pip install -U

Spiegazione:

pip list --outdated ottiene linee come queste

urllib3 (1.7.1) - Latest: 1.15.1 [wheel]
wheel (0.24.0) - Latest: 0.29.0 [wheel]

In cut -d ' ' -f1, -d ' 'imposta "spazio" come delimitatore, -f1significa ottenere la prima colonna.

Quindi le righe sopra diventano:

urllib3
wheel

quindi passali a xargsper eseguire il comando pip install -U, con ogni riga come argomento aggiuntivo

-n1limita il numero di argomenti passati a ciascun comando pip install -Usu 1

Ho avuto lo stesso problema con l'aggiornamento. Il fatto è che non aggiorno mai tutti i pacchetti. Aggiornamento solo ciò di cui ho bisogno, perché il progetto potrebbe interrompersi.

Poiché non c'era modo semplice per aggiornare pacchetto per pacchetto e aggiornare il file Requisito.txt, ho scritto questo pip-upgrade che aggiorna anche le versioni nel tuo requirements.txtfile per i pacchetti scelti (o tutti i pacchetti).

Installazione

pip install pip-upgrader

uso

Attiva il tuo virtualenv (importante, perché installerà anche le nuove versioni dei pacchetti aggiornati nell'attuale virtualenv).

cd nella directory del progetto, quindi esegui:

pip-upgrade

Utilizzo avanzato

Se i requisiti sono collocati in una posizione non standard, inviarli come argomenti:

pip-upgrade path/to/requirements.txt

Se sai già quale pacchetto vuoi aggiornare, semplicemente inviali come argomenti:

pip-upgrade -p django -p celery -p dateutil

Se è necessario eseguire l'aggiornamento alla versione pre-release / post-release, aggiungere --prereleaseargomento al comando.

Divulgazione completa: ho scritto questo pacchetto.

Da https://github.com/cakebread/yolk :

$ pip install -U `yolk -U | awk '{print $1}' | uniq`

tuttavia è necessario prima ottenere il tuorlo:

$ sudo pip install -U yolk

Versione di una riga della risposta di @ Ramana .

python -c 'import pip, subprocess; [subprocess.call("pip install -U " + d.project_name, shell=1) for d in pip.get_installed_distributions()]'

`

quando si utilizza un virtualenv e se si desidera semplicemente aggiornare i pacchetti aggiunti al proprio virtualenv, è possibile che si desideri:

pip install `pip freeze -l | cut --fields=1 -d = -` --upgrade

La soluzione più semplice e veloce che ho trovato nella discussione sul problema del pip è:

pip install pipdate
pipdate

Fonte: https://github.com/pypa/pip/issues/3819

Soluzione Windows Powershell

pip freeze | %{$_.split('==')[0]} | %{pip install --upgrade $_}

usa i pacchetti di aggiornamento awk: pip install -U $(pip freeze | awk -F'[=]' '{print $1}')

aggiornamento di Windows PowerShell foreach($p in $(pip freeze)){ pip install -U $p.Split("=")[0]}

Puoi provare questo:

for i in ` pip list|awk -F ' ' '{print $1}'`;do pip install --upgrade $i;done

Il tuorlo piuttosto sorprendente lo rende facile.

pip install yolk3k # don't install `yolk`, see https://github.com/cakebread/yolk/issues/35
yolk --upgrade

Per maggiori informazioni sul tuorlo: https://pypi.python.org/pypi/yolk/0.4.3

Può fare molte cose che probabilmente troverai utili.

@La risposta di Ramana ha funzionato meglio per me, di quelli qui, ma ho dovuto aggiungere alcune catture:

import pip
for dist in pip.get_installed_distributions():
    if 'site-packages' in dist.location:
        try:
            pip.call_subprocess(['pip', 'install', '-U', dist.key])
        except Exception, exc:
            print exc

Il site-packagescontrollo esclude i miei pacchetti di sviluppo, perché non si trovano nella directory dei pacchetti del sito di sistema. Try-tranne salta semplicemente i pacchetti che sono stati rimossi da PyPI.

@endolith: speravo anche in una soluzione facile pip.install(dist.key, upgrade=True), ma non sembra che pip fosse pensato per essere utilizzato da tutto tranne che dalla riga di comando (i documenti non menzionano l'API interna e gli sviluppatori di pip non hanno usato docstrings).

La pip_upgrade_outdatedfa il lavoro. Secondo i suoi documenti :

usage: pip_upgrade_outdated [-h] [-3 | -2 | --pip_cmd PIP_CMD]
                            [--serial | --parallel] [--dry_run] [--verbose]
                            [--version]

Upgrade outdated python packages with pip.

optional arguments:
  -h, --help         show this help message and exit
  -3                 use pip3
  -2                 use pip2
  --pip_cmd PIP_CMD  use PIP_CMD (default pip)
  --serial, -s       upgrade in serial (default)
  --parallel, -p     upgrade in parallel
  --dry_run, -n      get list, but don't upgrade
  --verbose, -v      may be specified multiple times
  --version          show program's version number and exit

Passo 1:

pip install pip-upgrade-outdated

Passo 2:

pip_upgrade_outdated

Inviato attraverso una richiesta pull al popolo pip ; nel frattempo usa questa soluzione di libreria pip che ho scritto:

from pip import get_installed_distributions
from pip.commands import install

install_cmd = install.InstallCommand()

options, args = install_cmd.parse_args([package.project_name
                                        for package in
                                        get_installed_distributions()])

options.upgrade = True
install_cmd.run(options, args)  # Chuck this in a try/except and print as wanted

Questo sembra funzionare per me ...

pip install -U $(pip list --outdated|awk '{printf $1" "}')

printfSuccessivamente ho usato uno spazio per separare correttamente i nomi dei pacchetti.

Questa è una soluzione PowerShell per Python 3:

pip3 list --outdated --format=legacy | ForEach { pip3 install -U $_.split(" ")[0] }

E per Python 2:

pip2 list --outdated --format=legacy | ForEach { pip2 install -U $_.split(" ")[0] }

Questo aggiorna i pacchetti uno per uno. Quindi a

pip3 check
pip2 check

in seguito dovrebbe assicurarsi che nessuna dipendenza sia interrotta.

Che ne dite di:

pip install -r <(pip freeze) --upgrade

Il più breve e semplice su Windows.

pip freeze > requirements.txt && pip install --upgrade -r requirements.txt && rm requirements.txt

La mia sceneggiatura:

pip list --outdated --format=legacy | cut -d ' ' -f1 | xargs -n1 pip install --upgrade

Non è più efficace?

pip3 list -o | grep -v -i warning | cut -f1 -d' ' | tr " " "\n" | awk '{if(NR>=3)print}' | cut -d' ' -f1 | xargs -n1 pip3 install -U 

1. pip list -o elenca pacchetti obsoleti;
2. grep -v -i warningcorrispondenza invertita warningper evitare errori durante l'aggiornamento
3. cut -f1 -d1' ' restituisce la prima parola - il nome del pacchetto obsoleto;
4. tr "\n|\r" " "converte il risultato cutsu più righe da in un elenco a riga singola, separato da spazi;
5. awk '{if(NR>=3)print}' salta le righe di intestazione
6. cut -d' ' -f1 recupera la prima colonna
7. xargs -n1 pip install -U prende 1 argomento dalla pipe a sinistra e lo passa al comando per aggiornare l'elenco dei pacchetti.

una riga in powershell 5.1 con diritti di amministratore, python 3.6.5 e pip ver 10.0.1:

pip list -o --format json | ConvertFrom-Json | foreach {pip install $_.name -U --no-warn-script-location}

funziona senza problemi se non ci sono pacchetti rotti o ruote speciali nell'elenco ...