Testo tra due tag

Voglio recuperare qualsiasi cosa si trovi tra questi due tag - <tr> </tr>- da un documento HTML. Ora non ho requisiti html specifici che sarebbero giustificati per un parser html. Ho semplicemente bisogno di qualcosa che corrisponda <tr>e </tr>che ottenga tutto nel mezzo e potrebbero esserci più trs. Ho provato awk, che funziona, ma per qualche motivo finisce per darmi duplicati di ogni riga estratta.

awk '
/<TR/{p=1; s=$0}
p && /<\/TR>/{print $0 FS s; s=""; p=0}
p' htmlfile> newfile

Come procedere?

Se vuoi solo fare ...tutto <tr>...</tr>:

grep -o '<tr>.*</tr>' HTMLFILE | sed 's/\(<tr>\|<\/tr>\)//g' > NEWFILE

Per multiline fare:

tr "\n" "|" < HTMLFILE | grep -o '<tr>.*</tr>' | sed 's/\(<tr>\|<\/tr>\)//g;s/|/\n/g' > NEWFILE

Controlla il HTMLFILE prima del carattere "|" (non al solito, ma possibile) e se esiste, cambia in uno che non esiste.

Hai un requisito che richiede un parser HTML: devi analizzare HTML. HTML di Perl :: TreeBuilder , BeautifulSoup di Python e altri sono facili da usare, più facili che scrivere espressioni regolari complesse e fragili.

perl -MHTML::TreeBuilder -le '
    $html = HTML::TreeBuilder->new_from_file($ARGV[0]) or die $!;
    foreach ($html->look_down(_tag => "tr")) {
        print map {$_->as_HTML()} $_->content_list();
    }
' input.html

o

python -c 'if True:
    import sys, BeautifulSoup
    html = BeautifulSoup.BeautifulSoup(open(sys.argv[1]).read())
    for tr in html.findAll("tr"):
        print "".join(tr.contents)
' input.html

sede awknon sono adatti per questa attività, è preferibile utilizzare un parser html appropriato. Ad esempio hxselectda w3.org:

<htmlfile hxselect -s '\n' -c 'tr'

Se rubyè disponibile è possibile effettuare le seguenti operazioni

ruby -e 'puts readlines.join[/(?<=<tr>).+(?=<\/tr>)/m].gsub(/<\/?tr>/, "")' file

dov'è il filetuo file html di input. Il comando esegue un Ruby one-liner. Innanzitutto, legge tutte le righe filee le unisce a una stringa readlines.join. Poi, dalla stringa seleziona nulla tra (esclusi) <tr>e <\/tr>che è un carattere o più indipendentemente newlines, [/(?<=<tr>).+(?=<\/tr>)/m]. Quindi, rimuove qualsiasi <tr>o </tr>dalla stringa gsub(/<\/?tr>/, "")(questo è necessario per gestire i trtag nidificati ). Infine, si stampa la stringa, puts.

Hai detto che un parser html non è garantito per te, ma è molto facile usare Nokogiri con rubye semplifica il comando.

ruby -rnokogiri -e 'puts Nokogiri::HTML(readlines.join).xpath("//tr").map { |e| e.content }' file

-rnokogiricarica Nokogiri. Nokogiri::HTML(readlines.join)legge tutte le righe di file. xpath("//tr")seleziona ogni trelemento e map { |e| e.content }seleziona il contenuto di ciascun elemento, ovvero cosa c'è tra <tr>e </tr>.

grep

Per recuperare il contenuto all'interno del trtag su più righe, passalo xargsprima, ad esempio:

curl -sL https://www.iana.org/ | xargs | egrep -o "<tr>.*?</tr>"

Per restituire solo HTML interno, utilizzare:

curl -sL https://www.iana.org/ | xargs | grep -Po "<tr>\K(.*?)</tr>" | sed "s/..tr.//g"

^{Controllare la sintassi per perlremotivi estesi .}

^{Nota: per prestazioni più rapide, è possibile prendere in considerazione la ripgrepsintassi simile.}

pup

Esempio di utilizzo pup(che utilizza selettori CSS ):

pup -f myfile.html tr

Per stampare solo il testo senza modifiche, uso: pup -f myfile.html tr text{}.

Ecco alcuni esempi con curl:

curl -sL https://www.iana.org/ | pup tr text{}
pup -f <(curl -sL https://www.iana.org/) tr text{}

xpup

Esempio di utilizzo xpupper l'analisi HTML / XML (che supporta XPath):

xpup -f myfile.html "//tr"

se è solo un breve elenco di <tr>s questo potrebbe aiutare:

perl -ne 'print if /<tr>/../</tr>/' your.html > TRs.log

Saluti