Como criar e configurar um arquivo robots txt para wordpress

robots (1)

O que é Robots.txt?

 

O Arquivo robots.txt conhecido também como Robot exclusion standart ou robot exclusion protocol permite que os mecanismos de buscas possam identificar quais pastas e artigos devem ser lidos no site.

Arquivo bastante útil caso você deseje que algum arquivo não seja indexado para aparecer nos resultados, seja por datas específicas, ou por alguma parte do site não estiver sido concluída, ou caso ache desnecessário que seja indexada, etc.

Cada arquivo precisa ser configurado para cada origem, precisa ser único ou seja, caso tenha um subdomínio, ele precisa ter seu robots.txt, o mesmo para protocolo ou portas.

http://seusite.com/robots.txt 
http://seo.seusite.com/robots.txt 
https://seo.seusite.com/robots.txt 
http://seo.seusite.com:8080/robots.txt 


Basicamente existem três comandos mais utilizados:

User-agent – são os robôs de busca, usando o asterisco (*) estará dizendo que todos os crawlers poderão ler o destino especificado, o user agent poderá também ser especificado o bot que passará em seu site, Veja a lista de alguns deles aqui

Allow – Significa permitir, especificando o nome do arquivo, permitirá que os crawlers leiam o conteúdo do site, por padrão todo conteúdo do site é lido sem que tenha que usar esse parâmetro, ele é usado caso tenha bloqueado alguma pasta de diretório, mas tenha algum subdiretório ou arquivo que deva ser lido. ex.

Disallow – Bloquear a indexação.

User-agent::Bingbot
Disallow:: /

Aqui estamos bloqueando a leitura do robô do Bing, quando colocamos barra (/index.html) e não especificamos o diretório, estamos bloqueando todo o site, muito usado quando se começa um site e até concluirmos, barramos a leitura dele pelos buscadores.

User-agent*: *
Disallow:: /wp-content
Allow:: /wp-content/uploads



Aqui estamos dizendo com o (*) que permitimos todos os motores de buscas

Disallow:/wp-content – a pasta wp-content não deve ser lida

Allow:/wp-content/uploads – no comando acima vetamos o acesso a pasta wp-content, mas permitimos a pasta uploads, que estão os arquivos que devem ser lidos.

User-agent: *
Disallow: /directory/file.html


Nesse caso, estamos dizendo para bloquear um arquivo específico

Criando um arquivo do zero

 

Para criar é simples, vamos para a etapa passo a passo.

1- Abra o bloco de notas, use os comandos conforme a necessidade do seu site, salve como robots.txt.

2- Entre no cpanel do seu plano de hospedagem, nesse caso estou usando hostgator, vá até a raíz do seu servidor e faça o upload do arquivo

robotstxt_1robotstxt_2robotstxt_4

Caso tenha dificuldade de subir o arquivo no servidor, poderá optar por um plugin do wordpress, recomendamos esse aqui, basta fazer a instalação e usar os comandos que necessita.

A validação do arquivo sitemap.xml é feito através do robots.txt, não esqueça de acrescentar o parâmetro para que seja lido corretamente

Sitemap:http://seusite.com.br/site-map.xml


Se tiver dúvidas na construção do seu arquivo, poderá visualizar em qualquer site, pois é um arquivo público.