Criar cache com wget

Ao invés de configurar o espelhamento de um website, uma técnica melhor é a de popular o proxy cache usando um processo automatizado. (

Um processo automático busca a página principal do site e um número especificado de páginas adicionais (recursivamente seguindo os links HTML nas páginas procuradas) através do uso de um proxy. Ao invés de gravar as páginas buscadas no disco local, o processo de espelhamento descarta-as. Isto é feito para conservar recursos do sistema e também para evitar possíveis conflitos de direitos de autor. Através do uso do proxy como um intermediário, as páginas procuradas ficam, com certeza, no cache do proxy, como se um utilizador tivesse acedido tais páginas. Quando um cliente acede a uma página já armazenada, ela é servida do cache e não do congestionado link internacional. Este processo pode ser executado fora dos horários de pico a fim de maximizar o uso de largura de banda e não competir com outras actividades que requeiram acesso à web.

O comando a seguir (programado para ser executado todas as noites, ou uma vez por semana) é tudo o que é necessário (repetido para cada site que deva ser populado antecipadamente).

$ wget —proxy-on —cache=off —delete after -m http://www.python.org

Estas opções habilitam o seguinte:

-m: Espelha o site inteiro. O wget inicia-se em www.python.org e segue os links, obtendo, todas as páginas.

--proxy-on: Espelha o site inteiro. O wget inicia-se em www.python.org e segue os links, obtendo, todas as páginas.

--c cache-off: Garante que o conteúdo recente seja buscado da internet e não do servidor proxy local

--delete after: Apaga a cópia espelhada. O conteúdo espelhado é mantido no cache do proxy, desde que exista espaço suficiente em disco e os parâmetros de configuração estejam correctamente ajustados.

Adicionalmente, o wget tem muitas outras opções, por exemplo, fornecendo uma senha para sites que necessitem de uma. Quando esta ferramenta é usada, o Squid deve ser configurado com o espaço em disco suficiente para conter todos os sites pré-populados e mais (para o uso normal do Squid, incluindo as demais páginas que não são pré-populadas). Felizmente, espaço em disco está se tornando cada vez mais barato e em quantidades cada vez maiores. Ainda assim, esta técnica deve ser usada apenas para alguns poucos sites seleccionados não podem ser grandes a ponto de fazer com que o processo demore além da madrugada e a utilização do espaço em disco deve ser monitorizada.

Saiba mais sobre a utilização do wget ou winget e como utiliza-lo para espelhar um website.

Links externos

Melhorando o acesso para a web através do uso de espelhamento e proxies de armazenamento local (em Inglês)

Editor

--Cmsv 02h22min de 14 de fevereiro de 2010 (GMT)