BLOG – MARKETING DIGITAL

Robots.TXT – Guia de Configuração Essencial

O Arquivo Robots.txt
Guia de Conteúdo

Diversas técnicas são aplicadas para fazer com que o site de seus clientes seja melhor rastreado pelo Google, e com isto ter a indexação total de suas páginas e conteúdo, através de ações onpage e offpage como a melhoria de conteúdo, geração de links, tags, otimização de imagens, Robots.txt, etc.

Hoje vamos falar um pouco mais sobre o arquivo chamado Robots.txt, que tem uma boa relevância para SEO e se configurado de forma errada, pode acabar te prejudicando junto aos buscadores.

O que é o Robots.txt?

Robots.txt é um arquivo de texto que é usado para instruir os robôs/spiders utilizados pelos mecanismos de buscas (como Google e Bing) a como rastrear e indexar as páginas de seu site. O arquivo robots.txt é colocado no diretório principal de seu site para que estes robôs possam acessar estas informações de forma imediata.

Para evitar que cada mecanismo de pesquisa defina regras específicas para seus crowlers, eles obedecem um padrão chamado REP – Robots Exclusion Protocol (Protocolo de Exclusão de Robots), criado em 1994 e sua última modificação foi em 2005.

Como os arquivos robots.txt fornecem aos bots de pesquisa instruções sobre como rastrear ou como não rastrear certas partes do site, saber como usar e configurar esses arquivos torna-se vital para qualquer profissional de SEO. Se um arquivo robots.txt estiver configurado incorretamente, ele pode causar vários erros de indexação. Então, toda vez que você iniciar uma nova campanha de SEO, verifique seu arquivo robots.txt com a ferramenta de teste de robots do Google.

Usando Robots para “Esconder” seu Conteúdo

Os arquivos Robots.txt podem ser usados para excluir determinados diretórios da SERP de todos os mecanismos de pesquisa. Para isto, se usa a propriedade “disallow”.

Aqui estão algumas páginas que você deve ocultar usando um arquivo robots.txt:

  • Páginas com conteúdo duplicado
  • Páginas de paginação
  • Páginas de agradecimento
  • Páginas de Carrinho de Compras
  • Páginas de Administração
  • Chats
  • Páginas com informações de conta
  • Páginas dinâmicas de produtos e serviços (que variam muito)

Usando Robots para “Esconder” seu Conteúdo

Os arquivos Robots.txt podem ser usados para excluir determinados diretórios da SERP de todos os mecanismos de pesquisa. Para isto, se usa a propriedade “disallow”.

Aqui estão algumas páginas que você deve ocultar usando um arquivo robots.txt:

  • Páginas com conteúdo duplicado
  • Páginas de paginação
  • Páginas de agradecimento
  • Páginas de Carrinho de Compras
  • Páginas de Administração
  • Chats
  • Páginas com informações de conta
  • Páginas dinâmicas de produtos e serviços (que variam muito)

Robots.txt

No entanto, não esqueça que qualquer arquivo robots.txt está disponível publicamente na internet. Para acessar um arquivo robots.txt, basta digitar:

www.meu-site.com.br/robots.txt

Como usar o Robots.txt

Os arquivos Robots.txt permitem uma vasta opção de configurações. Seu principal benefício, no entanto, é que eles permitem que os especialistas em SEO “permitam” (allow) ou “desaprovem” (disallow) várias páginas de uma vez sem ter que acessar o código de cada página, um por um.

Por exemplo, você pode bloquear todos os rastreadores de pesquisa com este comando:

User-agent: *
Disallow: /

Ou esconder a estrutura de seu site e categorias específicas:

User-agent: *
Disallow: /no-index/

Também podemos excluir diversas páginas da pesquisa. Basta esconder estas páginas dos crowlers com o comando “disallow”: disallow

Algo útil de se trabalhar com robots.txt é que ele permite priorizar certas páginas, categorias e até mesmo pedaços de código CSS e JS. Dê uma olhada no exemplo abaixo: robots avançado

No exemplo, não permitimos páginas WordPress e categorias específicas, mas arquivos de conteúdo wp, plugins JS, estilos CSS e blog estão permitidos. Esta abordagem garante que os robôs rastreiem e indexem códigos e categorias úteis.

Principais comandos para o Robots.txt

Antes de terminar esta postagem, listarei os principais comandos e funções para que você possa configurar seu robots.txt em qualquer editor de texto:

Para indexar todo o conteúdo:

User-agent: *
Disallow:

ou

User-agent: *
Allow: /

Para não indexar todo o conteúdo

User-agent: *
Disallow: /

Para não indexar uma pasta específica

User-agent: *
Disallow: /pasta/

Para o Googlebot não indexar uma pasta, mas permitir a indexação de um arquivo desta pasta

User-agent: Googlebot 
Disallow: /pasta1/ 
Allow: /pasta1/minha-pagina.html

Concluindo

O domínio dos robots.txt pode ser um fator muito importante para o sucesso ou fracasso de sua estratégia de SEO. Mas além dos arquivos textos, podemos trabalhar com os autorização dos robôs diretamente em nossas páginas com as meta tags robots.

Precisando do serviço de um especialista em SEO? Entre em contato.

Comentários

Compartilhe:

Siga-nos

SUA EMPRESA NO TOPO DO GOOGLE!

Veja Também

e-commerce

Produção de Textos para Blog

  Transformar o branco do editor de textos em algo relevante para o público do seu Blog nem sempre é uma tarefa FÁCIL, é um

vender pela internet
Marketing

COMO VENDER PELA INTERNET

Construir uma Loja Virtual e começar a vender pela internet não é tão complicado como você imagina, mas é preciso atenção a alguns detalhes importantes

Site como parte da identidade visual - Criação de Sites - Brasília
Criação de Sites

Um Site Faz Parte da Sua Marca

Criação de Sites de Acordo com a Identidade Visual da Sua Empresa Já comentamos aqui no Blog como a Identidade Visual é importante para o