Como usar o Wget para baixar qualquer coisa da Internet

2019

Wget é um utilitário de linha de comando que pode ser usado para baixar quase tudo disponível na internet. O problema é que ele deve estar disponível nos protocolos HTTP, HTTPS ou FTP; caso contrário, o Wget não poderá baixá-lo. Existem várias maneiras de usar o Wget, por exemplo, você pode usar o Wget para fazer o download de cada imagem em um site, ou também pode baixar um único arquivo. O Wget é capaz de retomar downloads sempre que possível. Então, se você está se perguntando como o Wget funciona, e o que ele pode fazer por você, aqui está como usar o Wget :

Instalando o Wget

1. Instalando o Wget no macOS Sierra

Antes de começarmos a usar o Wget, precisaremos instalá-lo em nosso sistema. Agora, felizmente, a maioria das distribuições Linux vem com o Wget pré-instalado, assim você não terá que fazer nenhum trabalho adicional. No entanto, se você estiver em um Mac, terá que instalar o Wget. Isso pode ser feito facilmente usando o Homebrew (download). Se precisar de ajuda, aqui estão os passos que você precisa seguir:

Primeiro, você terá que instalar o Homebrew no seu Mac, para poder baixar o Wget. Para fazer isso, basta iniciar o Terminal e digitar o seguinte comando:

 / usr / bin / ruby -e "$ (curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

Depois que o comando terminar, o Homebrew será instalado no seu sistema. Agora você pode usar o Homebrew para instalar pacotes, como o Wget. No Terminal, basta executar o seguinte comando:

 preparar a instalação wget

O Homebrew iniciará automaticamente o download, descompactando e instalando o Wget no seu sistema. Este passo pode demorar algum tempo, dependendo da velocidade da sua rede, por isso seja paciente. Quando o comando estiver concluído, você poderá usar o Wget no seu Mac. Para verificar se foi instalado, basta usar o comando:

 wget -V

2. Instalando o Wget no Windows

Instalar o Wget no Windows exige um pouco mais de esforço, mas pode ser feito facilmente. Se você deseja instalar o Wget no seu PC com Windows, basta seguir os passos abaixo:

Primeiro, baixe o Cygwin e execute o arquivo de instalação baixado .

Quando solicitar a fonte de download padrão, escolha a opção " Instalar da Internet " e clique em "Avançar".

Escolha um diretório de instalação para o Cygwin, bem como um diretório onde ele salvará os arquivos de pacote para a instalação de utilitários.

Na próxima tela, você é obrigado a selecionar sua conexão com a internet. Se você estiver usando um proxy, escolha o tipo de proxy e preencha os detalhes. Para a maioria dos usuários, porém, a escolha seria " Conexão Direta ".

Você será então mostrado uma lista de espelhos, escolha qualquer um deles para baixar o Cygwin. Se o download falhar, você pode tentar novamente com um espelho diferente.

Na próxima janela, pesquise por “wget” e clique no sinal de adição ao lado de “web” na lista que aparece. Aqui, a caixa de seleção ao lado de " wget " será selecionada automaticamente. Basta clicar em “Next”.

A próxima tela mostrará os pacotes necessários para download. Basta clicar em “Next”.

Quando a instalação estiver concluída, você será perguntado se deseja criar um ícone na área de trabalho e / ou adicionar uma entrada ao menu Iniciar . Isso é completamente uma questão de preferência pessoal, mas eu sugiro que você, pelo menos, adicioná-lo ao menu Iniciar, para que você possa encontrá-lo facilmente.

É isso aí. O Wget está agora instalado no seu PC Windows. No entanto, você não poderá executá-lo no prompt de comando. Em vez disso, você terá que iniciar o Terminal Cygwin e usar o Wget a partir daí .

Como usar o Wget

Agora que temos o Wget instalado e funcionando em nosso sistema, vamos explorar todas as maneiras legais em que podemos usar o Wget para baixar arquivos, pastas e até mesmo sites inteiros da Internet. Aqui estão algumas coisas interessantes que você pode fazer com o Wget no seu sistema.

Nota : Estou usando o Wget em um MacBook Air executando o macOS Sierra 10.12.3 beta. No entanto, como o utilitário que estamos usando é o mesmo (Wget), os comandos serão os mesmos em qualquer sistema operacional em que você esteja usando o Wget on.

1. Use o Wget para baixar arquivos

Você pode usar o Wget para baixar arquivos da Internet com facilidade. Basta usar o seguinte comando

 wget

Baixar um arquivo e salvá-lo com um nome de arquivo específico

Arquivos nos servidores às vezes têm os nomes mais estranhos, e você pode querer baixar o arquivo, e fazer com que o Wget renomeie automaticamente para algo que faça mais sentido para você. Para fazer isso, basta usar o seguinte comando

 wget -o

Baixe apenas tipos de arquivos específicos

Um servidor da Web pode hospedar vários arquivos diferentes. Então, e se você quiser apenas baixar todos os PDFs no servidor, ou talvez todos os GIFs? Basta usar o seguinte comando:

 wget -r -A pdf

Este comando em particular foi colocado em uso por Mark Zuckerberg em seu dormitório em Harvard, para baixar todas as imagens com apenas um comando e construir o infame site “facesmash.com”.

 wget -r -Um jpg, jpeg, png, bmp

2. Faça o download de arquivos de vários URLs com o Wget

Digamos que você precise baixar arquivos de vários locais diferentes na Internet. Pode haver um arquivo PDF no url1, um arquivo ZIP importante no url2 e outra coisa no url3 . Se você usou o Wget da maneira tradicional, terá que executá-lo três vezes. No entanto, existe uma maneira muito mais fácil de fazer isso.

Primeiro, crie um arquivo com todos os URLs dos quais você precisa fazer o download dos dados. Certifique-se de manter cada URL em sua própria linha . Salve o arquivo e lembre-se do nome.

No Terminal, use o seguinte comando para baixar arquivos de todas as URLs:

 wget -i

onde " file_name " é o nome do arquivo que você criou com todos os URLs dos quais você precisava fazer o download.

3. Baixe um site inteiro com o Wget

Sim, você leu certo. Você também pode usar o Wget para baixar o conteúdo de um site inteiro. Obviamente, se o site for muito grande, esse comando levará muito tempo para ser concluído, sem mencionar que ele ocupará muito espaço em seu sistema. Dito isso, se você quiser usar o Wget para baixar um site inteiro, basta usar o seguinte comando:

 wget --mirror -p -P ./LOCAL-DIR WEBSITE-URL

Isto irá baixar o site inteiro, em uma pasta “ LOCAL-DIR ” dentro do seu diretório de trabalho. Os arquivos do site serão armazenados em uma pasta com o mesmo nome do site, graças a " WEBSITE-URL ".

4. Use o Wget como uma Web Spider

Você também pode fazer o Wget agir como um rastreador da Web (ou uma web spider). Isso é útil quando você deseja confirmar se o URL do arquivo que deseja baixar é válido . Para usar o Wget como web spider e verificar a validade das URLs, basta usar o seguinte comando:

 wget --spider

Isso verificará se o URL que você mencionou existe e você receberá uma resposta informando os resultados do cheque.

Resposta positiva:

Resposta Negativa:

5. Continuar Downloads Incompletos

Essa é outra coisa muito legal que o Wget pode fazer. Digamos que você estivesse fazendo o download de um arquivo com o Wget, mas, por algum motivo, você teve que desligar seu laptop. A próxima vez que você quiser tentar baixar o mesmo arquivo, o Wget pode realmente continuar o download para você. Você só precisa garantir que está na mesma pasta em que estava baixando o arquivo pela última vez e, em seguida, use o seguinte comando:

 wget -c

Quando o Wget vê que uma parte do arquivo já está presente em seu sistema, ele continuará automaticamente o download.

Nota : Se o arquivo no servidor foi alterado desde a última vez que você tentou baixá-lo, então você não deve usar este comando, porque isso resultará em um arquivo corrompido que você não será capaz de ler.

Além disso, se o servidor não permitir downloads contínuos, o Wget se recusará a iniciar o download do zero. Se você quiser iniciar o download a partir do zero, você terá que excluir o arquivo parcialmente baixado do seu sistema, primeiro.

Existem mais algumas condições para usar este argumento, e você pode ler mais sobre isso na página do manual do Wget.

6. Limite a velocidade de download

Se você estiver usando o Wget para baixar arquivos e navegar na Internet ao lado, provavelmente não desejará que toda a sua largura de banda seja usada pelo Wget. Felizmente, o Wget inclui um argumento que você pode usar para limitar a quantidade de largura de banda que o Wget pode usar para baixar arquivos em seu sistema:

 wget - taxa de limite =

Nota : tenha em atenção que a velocidade é mencionada em bytes e não em bits. Portanto, se você usar Wget –limit-rate = 20k, o uso da largura de banda será limitado a 20 kB e não a 20 kb.

7. Use o Wget para baixar arquivos de servidores FTP

Se você precisar baixar um arquivo de um servidor FTP, você também pode fazer isso com o Wget. Basta usar o seguinte comando para baixar arquivos de servidores FTP:

 wget

Download de arquivos de servidores FTP com login

Se o seu servidor FTP requer um login para permitir arquivos de download, você também pode simplesmente passar as credenciais com o Wget. Apenas use o seguinte comando:

 wget --ftp-username = NOME DE USUÁRIO --ftp-password = PASSWORD

Use facilmente o Wget para baixar arquivos da Internet

Você pode usar o Wget para baixar arquivos de qualquer lugar da internet. No entanto, enquanto o Wget quase sempre funciona, existem certos servidores que impedem o acesso ao Wget, e nesse caso, você pode tentar alterar o –user-agent para o seu comando do Wget. No entanto, isso não é uma ação recomendada, a menos que você saiba absolutamente o que está fazendo. Para a maior parte, o Wget permitirá que você baixe qualquer arquivo da Internet, desde que você tenha acesso a ele, e seu URL.

Então, você já usou o Wget para baixar arquivos da internet? Deixe-nos saber sobre sua experiência com o uso do Wget para baixar arquivos, através dos protocolos HTTP, HTTPS e FTP. Além disso, se você souber de alguns outros usos de Wget que você acha que merecem estar nesta lista, deixe-nos saber sobre eles na seção de comentários abaixo.