Come ottenere l'URL da un file usando uno script di shell

Ho un file che consiste in un URL . Sto cercando di ottenere l'URL da quel file usando uno script di shell.

Nel file, l'URL è così:

('URL', 'http://url.com');

Ho provato a usare quanto segue:

cat file.php | grep 'URL' | awk '{ print $2 }'

Fornisce l'output come:

'http://url.com');

Ma ho bisogno di entrare solo url.comin una variabile all'interno dello script della shell. Come posso farlo?

Qualcosa come questo?

grep 'URL' file.php | rev | cut -d "'" -f 2 | rev

o

grep 'URL' file.php | cut -d "'" -f 4 | sed s/'http:\/\/'/''/g

Per eliminare http: //.

Puoi fare tutto con un semplice grep:

grep -oP "http://\K[^']+" file.php 

Da man grep:

   -P, --perl-regexp
          Interpret  PATTERN  as  a  Perl  regular  expression  (PCRE, see
          below).  This is highly experimental and grep  -P  may  warn  of
          unimplemented features.
   -o, --only-matching
          Print  only  the  matched  (non-empty) parts of a matching line,
          with each such part on a separate output line.

Il trucco è usare ciò \Kche, in Perl regex, significa discard everything matched to the left of the \K. Quindi, l'espressione regolare cerca le stringhe che iniziano con http://(che viene quindi scartata a causa del \K) seguite dal maggior numero di non 'caratteri possibili. Combinato con -o, questo significa che verrà stampato solo l'URL.

Puoi anche farlo direttamente in Perl:

perl -ne "print if s/.*http:\/\/(.+)\'.*/\$1/" file.php\

Prova questo,

awk -F// '{print $2}' file.php | cut -d "'" -f 1

Rivisitandolo nuovamente e provando a usare nient'altro che una shell Bash, un'altra soluzione a una riga è:

while read url; do url="${url##*/}" && echo "${url%%\'*}"; done < file.in > file.out

Dove file.in contiene l'elenco URL "sporco" e file.out conterrà l'elenco URL "pulito". Non ci sono dipendenze esterne e non è necessario generare nuovi processi o subshells. Segue la spiegazione originale e uno script più flessibile. C'è un buon riassunto del metodo qui , vedi esempio 10-10. Questa è la sostituzione dei parametri basata su pattern in Bash.

Espandendo l'idea:

src="define('URL', 'http://url.com');"
src="${src##*/}"        # remove the longest string before and including /
echo "${src%%\'*}"      # remove the longest string after and including '

Risultato:

url.com

Non è necessario chiamare alcun programma esterno. Inoltre, il seguente script bash get_urls.sh, consente di leggere un file direttamente o da stdin:

#!/usr/bin/env bash

# usage: 
#     ./get_urls.sh 'file.in'
#     grep 'URL' 'file.in' | ./get_urls.sh

# assumptions: 
#     there is not more than one url per line of text.
#     the url of interest is a simple one.

# begin get_urls.sh

# get_url 'string'
function get_url(){
  local src="$1"
  src="${src##*/}"        # remove the longest string before and including /
  echo "${src%%\'*}"      # remove the longest string after and including '
}

# read each line.
while read line
do
  echo "$(get_url "$line")"
done < "${1:-/proc/${$}/fd/0}"

# end get_urls.sh

Se tutte le righe contengono un URL:

awk -F"'|http://" '{print $5}' file.php 

Se solo alcune righe contengono un URL:

awk -F"'|http://" '/^define/ {print $5}' file.php 

A seconda delle altre righe potrebbe essere necessario modificare la ^defineregex

Semplice:

php -r 'include("file.php"); echo URL;'

e se devi rimuovere "http: //", allora:

php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!\1!'

Così:

myURL=$(php -r 'include("file.php"); echo URL;' | sed 's!^http://\(.*\)!\1!')

Se hai bisogno di una determinata parte dell'URL che devi perfezionare la tua terminologia, un URL è tutto quanto segue, a volte di più:

URL := protocol://FQDN[/path][?arguments]

FQDN := [hostname.]domain.tld

per me, le altre greprisposte fornite restituiscono informazioni sulla stringa dopo il collegamento.

Questo ha funzionato per me solo per estrarre il url:

egrep -o "(http(s)?://){1}[^'\"]+"