Um dos arquivos mais importantes utilizados por motores de busca como Google Search, Yahoo Search, MSN Search é o "Robots.txt". Através dele os motores de busca sabem as páginas que podem ser indexadas. Os motores de busca capturam as palavras chaves da tag "Keywords" e ainda fazem varreduras nos hiperlinks internos do site. Para bloquear uma pasta que não deve ser indexada pelo Google, como uma pasta de sistama tipo "images" ou "admin" utiliza-se a seguinte linha de comando:
Disallow: /admin
Disallow: /images
O arquivo completo ficaria algo como:
# robots.txt gerado em
# marketingdebusca.com.br/robots-txt/
User-agent: Googlebot
Disallow:
User-agent: *
Disallow:
Disallow: /admin
Disallow: /images
O arquivo contém no cabeçalho, geralmente, o endereço do site. Para criar um arquivo Robots.txt corretamente utilize o site:
http://www.marketingdebusca.com.br/robots-txt/
Na da tag de "keywords" dentro <head> utilize as palavras chaves que o google deve utilizar para listar seu site nas buscas:
<meta name="keywords" content="tecnologia, arduino, eletrônica" />
Futuramente farei um post sobre Spiders.
Nenhum comentário:
Postar um comentário