Bash:
Hämta en webbsida
Så här gör du:
Enkel nedladdning med curl:
curl https://www.example.com -o example_page.htmlSå här ser resultatet ut:
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1270 100 1270 0 0 6350 0 --:--:-- --:--:-- --:--:-- 6350För att tysta output använd -s flaggan:
curl -s https://www.example.com -o example_page.htmlFör att använda wget:
wget https://www.example.comFilen sparas som index.html av default.
Djupdykning
Historiskt sett har wget varit standardverktyget för att ladda ned och spegla hela webbsidor eller webbplatser, medan curl växte fram som det flexiblare verktyget för dataöverföringar av alla slag. wget är rekursiv, vilket betyder att den kan ladda ned hela webbplatser genom att följa länkar, medan curl hanterar enstaka filer effektivt.
Alternativ till dessa inkluderar mer specialiserade verktyg som HTTrack eller att skriva anpassade skript med hjälp av Python och bibliotek som Requests och BeautifulSoup för webbskrapning.
Implementationen av filnedladdning i Bash kan variera beroende på operativsystemet. MacOS till exempel levereras med curl, men inte wget som default. Såväl curl som wget hanterar HTTP-protokollet, men curl stöder även ett stor antal andra protokoll som FTP, SMTP och LDAP.
Se även
- Curl projektets officiella webbplats: https://curl.se/
- Wget manualen: https://www.gnu.org/software/wget/manual/wget.html
- Web scraping med Python: https://docs.python-requests.org/en/latest/ samt https://www.crummy.com/software/BeautifulSoup/