Mitä tietää
- Lataa koko sivusto käyttämällä seuraavaa komentoa sivuston verkko-osoitteen kanssa: wget -r [site address]
- Suorita wget taustakomennona käyttämällä: wget -b [site address]
wget-komennon ominaisuudet
Voit ladata kokonaisia verkkosivustoja wgetillä ja muuntaa linkit osoittamaan paikallisiin resursseihin, jotta voit tarkastella verkkosivustoa offline-tilassa. Wget-apuohjelma yrittää myös ladata uudelleen, kun yhteys katkeaa, ja jatkaa siitä mihin se jäi, jos mahdollista, kun yhteys palaa. Muut wgetin ominaisuudet ovat seuraavat:
- Lataa tiedostoja HTTP:n, HTTPS:n ja FTP:n avulla.
- Jatka latausta.
- Muunna ladattujen verkkosivujen absoluuttiset linkit suhteellisiksi URL-osoitteiksi, jotta verkkosivustoja voidaan tarkastella offline-tilassa.
- Tukee HTTP-välityspalvelimia ja evästeitä.
- Tukee pysyviä HTTP-yhteyksiä.
- Se voi toimia taustalla, vaikka et olisi kirjautunut sisään.
- Toimii Linuxissa ja Windowsissa.
Lataa verkkosivusto wgetillä
wget-apuohjelma lataa web-sivuja, tiedostoja ja kuvia Internetistä Linuxin komentorivin avulla. Voit käyttää yhtä wget-komentoa ladataksesi sivustolta tai asettaa syöttötiedoston lataamaan useita tiedostoja useista sivustoista. Ohjeen mukaan wget:tä voidaan käyttää, vaikka käyttäjä olisi kirjautunut ulos järjestelmästä. Voit tehdä tämän käyttämällä nohup-komentoa. Tätä opasta varten opi lataamaan tämä Linux-blogi: wget www.everydaylinuxuser.com
type=»code»> Ennen kuin aloitat, luo tietokoneellesi kansio mkdir-komennolla ja vaihda kansioon cd-komennolla. Esimerkiksi: mkdir dailylinuxuser
cd dailylinuxuser
wget www.everydaylinuxuser.com
type=»code»> Tuloksena on yksi index.html-tiedosto, joka sisältää Googlesta haetun sisällön. Kuvia ja tyylisivuja ylläpidetään Googlessa.
Lataa koko sivusto ja kaikki sivut seuraavalla komennolla: wget -r www.everydaylinuxuser.com
type=»code»> Tämä lataa sivut rekursiivisesti enintään 5 tason syvyyteen asti. Viisi tasoa ei välttämättä riitä saamaan kaikkea pois sivustolta. Käytä -l kytkin asettaaksesi kuinka monta tasoa haluat siirtyä, esimerkiksi näin: wget -r -l10 www.everydaylinuxuser.com
type=»code»> Jos haluat äärettömän rekursion, käytä seuraavaa: wget -r -l inf www.everydaylinuxuser.com
type=»code»> Voit myös käyttää . Korvata tiedot / 0, mikä tarkoittaa samaa asiaa. On toinenkin ongelma. Saatat saada kaikki sivut paikallisesti, mutta sivuilla olevat linkit osoittavat alkuperäiseen paikkaan. Paikallinen napsauttaminen sivujen linkkien välillä ei ole mahdollista.
Voit kiertää tämän ongelman käyttämällä -k kytkin muuntaa sivujen linkit paikallisesti ladatuiksi vastaaviksi seuraavasti: wget -r -k www.everydaylinuxuser.com
type=»code»> Jos haluat täyden peilikuvan verkkosivustosta, käytä seuraavaa kytkintä, joka poistaa tarpeen käyttää -R† -kja -l kytkimet. wget -m www.everydaylinuxuser.com
type=»code»> Jos sinulla on verkkosivusto, voit tehdä täydellisen varmuuskopion tällä yhdellä yksinkertaisella komennolla.
Suorita wget taustakomennona
Voit suorittaa wget:n taustakomennona, jotta voit jatkaa työskentelyäsi päätteessä tiedostojen latauksen aikana. Käytä seuraavaa komentoa: wget -b www.everydaylinuxuser.com
type=»code»>
Voit yhdistää kytkimiä. Jos haluat suorittaa wget-komennon taustalla peilaamalla sivustoa, käytä seuraavaa komentoa: wget -b -m www.everydaylinuxuser.com
type=»code»> Voit yksinkertaistaa tätä edelleen seuraavasti: wget -bm www.everydaylinuxuser.com
type=»code»>
Kirjaaminen
Jos suoritat wget-komennon taustalla, et näe sen näytölle lähettämiä tavallisia viestejä. Käytä tail-komentoa lähettääksesi nämä viestit lokitiedostoon, jotta voit tarkistaa edistymisen milloin tahansa. Käytä seuraavaa komentoa tulostaaksesi tiedot wget-komennosta lokitiedostoon: wget -o /polku/mylogfile www.everydaylinuxuser.com
type=»code»> Päinvastoin, lokiin kirjaamista ja näyttöä ei tarvita ollenkaan. Voit jättää kaiken lähdön pois käyttämällä seuraavaa komentoa: wget -q www.everydaylinuxuser.com
type=»code»>
Lataa useilta sivustoilta
Voit asettaa syöttötiedoston ladattavaksi useilta eri sivustoilta. Avaa tiedosto suosikkieditorillasi tai cat-komennolla ja luettele ladattavat sivustot tai linkit tiedoston jokaiselle riville. Tallenna tiedosto ja suorita seuraava wget-komento: wget -i /polku/syöttötiedostoon
type=»code»> Sen lisäksi, että teet varmuuskopion verkkosivustostasi tai etsit jotain ladattavaa luettavaksi offline-tilassa, et todennäköisesti halua ladata kokonaista verkkosivustoa. Lataat todennäköisemmin yhden kuvien URL-osoitteen tai lataat tiedostoja, kuten zip-tiedostoja, ISO-tiedostoja tai kuvatiedostoja. Tätä silmällä pitäen sinun ei tarvitse kirjoittaa seuraavia tietoja syöttötiedostoon, koska se vie aikaa:
- http://www.myfileserver.com/file1.zip
- http://www.myfileserver.com/file2.zip
- http://www.myfileserver.com/file3.zip
Jos tiedät, että perus-URL on sama, kirjoita syöttötiedostoon seuraava:
- tiedosto1.zip
- tiedosto2.zip
- tiedosto3.zip
Voit antaa perus-URL-osoitteen osana wget-komentoa seuraavasti: wget -B http://www.omatiedostopalvelin.com -i /polku/inputfile
type=»code»>
Kokeile vaihtoehtoja uudelleen
Jos määrität ladattavien tiedostojen jonon syöttötiedostoon ja käytät tietokonettasi tiedostojen lataamiseen, syöttötiedosto saattaa kaatua, kun olet poissa ja yritä ladata sisältöä uudelleen. Voit määrittää uudelleenyritysten määrän seuraavalla kytkimellä: wget -t 10 -i /polku/tulotiedostoon
type=»code»> Käytä yllä olevaa komentoa yhdessä komennon kanssa -T vaihda määrittääksesi aikakatkaisun sekunteina seuraavasti: wget -t 10 -T 10 -i /polku/tulotiedostoon
type=»code»> Yllä oleva komento yrittää uudelleen 10 kertaa ja muodostaa yhteyden 10 sekunnin ajan jokaista tiedostoyhdistystä kohti. On myös hankalaa, jos lataat 75 % 4 gigatavun tiedostosta hitaalla laajakaistayhteydellä, vasta sitten yhteys katkeaa. Käytä seuraavaa komentoa yrittääksesi uudelleen kohdasta wget, josta se lopetti lataamisen: wget -c www.myfileserver.com/file1.zip
type=»code»> Jos törmäät palvelimeen, isäntä ei ehkä pidä siitä ja estää tai lopettaa pyyntösi. Voit määrittää odotusajan määrittääksesi kuinka kauan odottaa kunkin kyselyn välillä: wget -w 60 -i /polku/syöttötiedostoon
type=»code»> Yllä oleva komento odottaa 60 sekuntia latausten välillä. Tämä on hyödyllistä, jos lataat useita tiedostoja yhdestä lähteestä. Jotkut verkkoisännät voivat tunnistaa taajuuden ja estää sinut. Voit satunnaistaa odotuksen saadaksesi näyttämään siltä, että et käytä ohjelmaa, kuten tämä: wget –random-wait -i /polku/syöttötiedostoon
type=»code»>
Suojaa latausrajat
Monet Internet-palveluntarjoajat asettavat latausrajoituksia laajakaistan käytölle, erityisesti kaupungin ulkopuolella asuville ihmisille. Haluat ehkä lisätä kiintiön, jotta et ylitä latausrajaasi. Voit tehdä sen seuraavasti: wget -q 100m -i /polku/syöttötiedostoon
type=»code»> -Q komento ei toimi yhden tiedoston kanssa. Jos lataat 2 gigatavun tiedoston, käytä -Q 1000 m ei lopeta tiedoston lataamista. Kiintiötä käytetään vain ladattaessa rekursiivisesti sivustolta tai käytettäessä syöttötiedostoa.
Mene turvallisuuden läpi
Jotkin sivustot edellyttävät kirjautumista, jotta voit käyttää ladattavaa sisältöä. Käytä seuraavia kytkimiä määrittääksesi käyttäjänimen ja salasanan. wget –user=käyttäjänimesi –salasana=salasanasi
type=»code»> Usean käyttäjän järjestelmässä, kun joku käyttää ps -komentoa, he voivat nähdä käyttäjätunnuksesi ja salasanasi.
Muut latausvaihtoehdot
Oletus on -R kytkin lataa rekursiivisesti sisällön ja luo kansioita matkan varrella. Käytä seuraavaa kytkintä ladataksesi kaikki tiedostot yhteen kansioon: wget -nd -r
type=»code»> Tämän vastakohta on kansioiden luomisen pakottaminen, joka voidaan suorittaa seuraavalla komennolla: wget -x -r
type=»code»>
Kuinka ladata tietyt tiedostotyypit
Jos haluat ladata rekursiivisesti sivustolta, mutta ladata vain tietyn tiedostotyypin, kuten MP3, tai kuvan, kuten PNG, käytä seuraavaa syntaksia: wget -A «*.mp3» -r
type=»code»> Kääntöpuoli on ohittaa tietyt tiedostot. Et ehkä halua ladata suoritettavia tiedostoja. Käytä tässä tapauksessa seuraavaa syntaksia: wget -R «*.exe» -r
type=»code»>
Cliget
Siellä on Firefox-lisäosa nimeltä cliget. Tämän lisääminen Firefoxiin:
-
Mene osoitteeseen https://addons.mozilla.org/en-US/firefox/addon/cliget/ ja napsauta lisää Firefoxiin nuppi.
-
Klikkaa asentaa -painiketta, kun se tulee näkyviin, ja käynnistä sitten Firefox uudelleen.
-
Jos haluat käyttää cligetiä, siirry sivulle tai tiedostolle, jonka haluat ladata, ja napsauta hiiren kakkospainikkeella. Näkyviin tulee kontekstivalikko nimeltä cliget, ja siihen on vaihtoehtoja kopioi wget ja kopioida curl†
-
Klikkaa kopioi wgetiin vaihtoehto, avaa pääteikkuna, napsauta hiiren kakkospainikkeella ja valitse Viipaleita† Oikea wget-komento liitetään ikkunaan.
Näin sinun ei tarvitse kirjoittaa komentoa itse.
Yleiskatsaus
wget-komennolla on useita vaihtoehtoja ja kytkimiä. Voit lukea wget-oppaan kirjoittamalla pääteikkunaan: man wget
class=»ql syntax»>