Skip to content

APERFECTCIRCLE.US

Scaricare Circle

SCARICA SITO INTERO CON WGET


    Come fare a scaricare tutte le pagine di un sito web da console con wget! ecco come scaricare un Sito nel Computer con Linux usando da console il comando wget con l'opzione mirror per copiare internamente un sito sul computer. Esiste un programma, incluso in tutte le distribuzioni Linux, che è in grado di scaricare interi siti internet. Il comando si chiama wget e può. WGET è un comando da avviare dalla shell di Linux che ci consente di P.s. questa procedura scarica solo le pagine del sito Web con i. Allora viene in aiuto il potentissimo wget. Supponiamo che vogliate scaricare il sito alla pagina aperfectcircle.us con i relativi.

    Nome: sito intero con wget
    Formato:Fichier D’archive
    Sistemi operativi: iOS. Android. Windows XP/7/10. MacOS.
    Licenza:Solo per uso personale
    Dimensione del file:49.52 Megabytes

    Ricordate che curl è integrato nativamente anche in Windows 10 aprile e successivi, mentre wget deve essere scaricato a parte. Nel resto dell'articolo approfondiremo l'uso dei comandi e spiegheremo il significato dei vari argomenti.

    Aprire il terminale Per prima cosa, dobbiamo aprire la shell testuale. Allo scopo, usiamo: curl -o "miofile. Possiamo infatti specificare il percorso di destinazione completo sulla linea di comando. Al contrario, curl non segue i redirect e si limita a prelevare un file da zero byte.

    Per ottenere il comportamento atteso e seguire i redirect con curl è necessario esplicitare il parametro -L maiuscolo.

    Vcron, è molto semplice da utilizzare e mi evita di dovermi ricordare la noiosa sintassi del crontab. A questo punto ci scriviamo un piccolo script che, richiamato da cron ad una certa ora, si colleghi ad Internet, lanci wget, al termine dello scaricamento dei file interrompa la connessione, e spenga il pc.

    Scaricare interi siti web con wget - aperfectcircle.us

    Ignorare i certificati HTTPS non-validi wget e curl si rifiutano di scaricare file da indirizzi HTTPS se il certificato digitale dei siti non è perfettamente valido fra gli altri: non è scaduto o revocato, è rilasciato da un'autorità di certificazione CA accreditata ecc.

    Si tratta di una misura di sicurezza in più che garantisce l'integrità e l'autenticità dei file scaricati ma, in alcune circostanze, è necessario forzare e scaricare comunque.

    Entrambi i comandi prevedono molte altre opzioni che ne modificano il comportamento. Per maggiori informazioni, si veda la rispettiva documentazione ufficiale:.

    Abbiamo imparato che Wget è uno strumento estremamente potente e che permette di avviare download con un gran numero di parametri. Per dovere di cronaca specifichiamo che Wget è disponibile anche su MacOS e su Windows, ma va scaricato ed installato a parte. Da questo momento potremo usare Wget dal prompt dei comandi!

    Recentemente ti ho mostrato come scaricare un sito nel computer utilizzando HTTrack, un software multipiattaforma gratuito. Come sicuramente avrai visto sulla pagina di download del sito ufficiale , HTTtacks è disponibile anche per Linux, ma oggi vorrei proporti una soluzione diversa utilizzando Wget, un comando molto potente e versatile disponibile per tutte le distribuzioni Linux. Potremmo anche incorrere in file inutili, come contatori, file di database o altri documenti, di cui non ci interessa nulla e che occupano solo banda e allungano i tempo di download.

    Per evitare un tale spreco, possiamo fornire a wget una "accept list", o al contrario una "reject list", nella quale possiamo specificare le estensioni dei file che intendiamo scaricare. Se, ad esempio, volessimo prelevare tutti i file grafici in formato gif e jpg, collegati in primo livello con il documento doc In questo caso, ci conviene fornire una lista di domini sui quali è consentito prelevare file.

    Introduciamo quindi l'opzione -D che indica il "domain acceptance", ovvero i domini dai quali è accettato il download, limitando il dowload dei file collegati al nostro documento, ai soli domini funnystuff.

    Oltre che per livelli e per domini, c'è un terzo limite da considerare, che consente di specificare un quota, ovvero una dimensione massima oltre il quale non verrà scaricato più nulla.

    Non solo, è anche possibile fare in modo che questa operazione non influisca negativamente sulle prestazioni del collegamento ad internet, grazie alla possibilità di diluire nel tempo il download. Possiamo, volendo, preparare un file di testo o html, contenente tutte le url da scaricare, passandolo poi al programma grazie allo switch -i, oppure evitare che l'hostname venga utilizzato per creare la directory che conterrà il sito, o ancora, possiamo tagliare dall'albero che ricreeremo un certo numero di direcotry --cut-dirs Ad esempio, il comando: wget -r -l 1 -A gif,jpg www.

    Infine, cosa fare se un donwload si interrompe per qualsiasi ragione?

    Senza bisogno di usare getright, provate l'opzione -c e riprenderete li dove vi eravate fermati senza perdere tempo a prelevare di nuovo tutto. Ultimo problema che vogliamo affrontare: diciamo che vogliamo scaricare un sito molto grosso, e che le operazioni dureranno almeno un giorno. Come fare per non tenere occupata una shell per 24 ore?

    Anche qui le cose non sono troppo difficili; basta usare aprire la stringa di comando con nohup e chiudere la serie delle opzioni con un -b background e vi ritroverete anche con un file di log.