Mirroring di un sito Web dietro un modulo di accesso


10

Versione breve:

  • Vorrei scattare una copia offline di un URL che include le immagini HTML + CSS + JS + complete e le salva in locale, mantenendo la struttura e il contenuto del file del sito originale.
  • Sto riscontrando problemi con gli strumenti che riesco a trovare (ad esempio l'estensione "Salva completo" di Firefox, HTTrack, wget, Teleport Pro) in parte perché l'URL è dietro un modulo di accesso.

Versione più lunga:

Quando lavoro sulla mia app, spesso voglio catturare una versione completa di immagini HTML + CSS + JS + offline da inviare al designer con cui lavoro, che apporta modifiche e le restituisce. Applico quindi le modifiche all'app.

Questo si è rivelato molto più efficiente rispetto alla sua navigazione nel nostro codice con un'app live, ma c'è un problema: non riesco a trovare un'app di mirroring che sia conveniente.

Le estensioni di Firefox come "Salva completo" hanno già il cookie di accesso, quindi non importa che siano dietro un modulo di accesso, ma manipolano i file salvati localmente rendendo impossibile lavorare con loro.

Strumenti di mirroring come wget o Teleport Pro non supportano il nostro modulo di accesso.

HTTrack, tuttavia, dovrebbe essere in grado di funzionare in modalità proxy per rilevare le informazioni di accesso, ma non sono mai riuscito a farlo funzionare. Come fallback può accettare i cookie che installo nel suo file cookies.txt, ma mi ci vogliono sempre ore per farlo in modo affidabile.

Eventuali strumenti, estensioni del browser, ecc. Che potrebbero farlo? Open source, commerciale - qualsiasi cosa. Se ho usato in modo improprio HTTrack ed è davvero banale da fare, anche questa è un'ottima risposta.

Risposte:


7

Con HTTrack puoi averlo usando un file cookies.txt durante il download. L'ho usato per rispecchiare con successo un sito moodle.


Grazie - l'ho già fatto con HTTrack, ma per qualche motivo mi ci vogliono sempre diversi tentativi per farlo funzionare, anche se non riesco a vedere un motivo. Hai mai ottenuto il supporto per l'autenticazione basata su moduli integrati? Non ha mai funzionato per il mio sito. httrack.kauler.com/help/CatchURL_tutorial
orip

2
Quello che ho fatto è stato effettuato l'accesso con il mio browser ed esportato il file cookies.txt, aggiunto la pagina di disconnessione alla lista nera e lasciarlo funzionare. Mi ci sono voluti alcuni tentativi a causa della stupidità di Moodle, ma l'ho fatto funzionare
TheLQ

5

L'ho fatto con successo con WinHTTrack . È possibile seguire la normale procedura per l'acquisizione di un sito Web, con due modifiche minori alle impostazioni:

  1. In Chrome, apri Dev Tools, quindi accedi al sito Web che devi acquisire. Nella scheda Rete, fai clic sulla pagina HTML che hai richiesto per trovare il cookie di sessione (il nome sarà diverso a seconda del framework di back-end utilizzato). Inseriscilo in HTTrack in "Intestazioni HTTP aggiuntive".

  2. Assicurati anche che la stringa dell'agente utente corrisponda, poiché a volte le sessioni vengono bloccate se la stringa dell'agente utente viene modificata.

    Accesso al cookie di sessione in HTTrack

  3. Inizia a scaricare il sito. Il risultato dovrebbe essere proprio come se si fosse effettuato l'accesso.


3

Hai provato Offline Explorer ?

Ricordo che qualcosa del genere ti avrebbe permesso di accedere, salvando così i cookie per le conseguenti richieste e farà il resto. Non sono sicuro al 100% perché lo stavo usando da molto tempo.


Fantastico, sembra che la versione Pro supporti il ​​POST nelle forme, lo controllerò
orip

Mi ci è voluto un po 'di tempo per capirlo, e la documentazione era scarsa, ma mi sono reso conto che avrei potuto utilizzare il browser basato su IE incorporato per accedere al modulo e quindi scegliere "Aggiungi il prossimo link cliccato come progetto". Anche la funzione "salvataggio automatico" è stata piacevole, anche se di tanto in tanto ha incasinato il mio modulo. Lo valuterò per 30 giorni, potrebbe essere quello che sto cercando.
orip,

2

Teleport Pro consente di utilizzare un login e una password.

Quando avvii una Creazione guidata nuovo progetto, arriverai al punto in cui ti dà quell'opzione (penso che sia nella terza schermata di opzioni).

E anche se ti manca, puoi accedere nuovamente a quell'opzione.

Nella finestra principale (dopo aver eseguito la Procedura guidata progetto) fai clic con il pulsante destro del mouse sul tuo progetto (icona della piccola cartella che mostra l'URL che stai provando a scaricare, nel riquadro di sinistra) e scegli l'ultima opzione Starting Address Propertiese ti verrà presentata una schermata di opzioni dove è possibile specificare un login utente e una password da utilizzare in quel sito.


Questa è una domanda antica, ma teleport pro supporta http auth , non inserendo i dati nei moduli POST.
Nome falso
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.