Fala galera que acompanha o blog...
Anteriormente eu expliquei o que é e como funciona o Googlebot.
Nesse post, vamos aprender algumas forma de bloquear os bots no nosso site, seja para bloquear alguma página que não gostaríamos que fosse mapeada ou para um evitar o mapeamento de paginas privadas.
Precisamos entender que é quase impossível manter um servidor da web em sigilo não publicando links para ele, como vimos a busca realizada por esses bots parte de um link base e a acessa a cada link que vai surgindo, realizando a indexação dos mesmos.
Para impedir que o Googlebot rastreie o conteúdo do seu site, temos algumas formas de agir. Eu vou deixar o link que direciona para o conteúdo que a própria Google disponibiliza:
De todas as opções a mais fácil com certeza é proteger com senha os seus diretórios, no entanto o uso do arquivo robots.txt, além de prevenir os bots, protegem que arquivos de imagens sejam exibidos nos resultados da Pesquisa Google.
No entanto o uso de apenas um desses métodos não garante total segurança de que seu conteúdo não foi indexado e não será exibido nas buscas realizados no Google. É claro que o modo a ser utilizado, vai depender da sua necessidade.
Fugindo um pouco do escopo de indexação e indo mais diretamente em segurança da informação, sempre utilize senhas nos diretórios que são privados.
Como mencionado no site de suporte do Goole, embora o Googlebot e outros rastreadores da Web confiáveis sigam as instruções de um arquivo robots.txt, que funcionam apenas como diretivas, elas podem não ser seguidas por outros rastreadores mal intencionados, outro detalhe é que cada rastreador pode interpretar esses arquivos de maneira diferente. É importante saber a sintaxe apropriada para atender a diferentes rastreadores da Web, pois alguns podem não entender todas as instruções.
O Google disponibiliza um link que se chama Search Console, nele existem diversas opções que auxiliam e muito o trabalho de webmaster, entre ela a poSsibilidade de verificar links quebrados, paginas indexadas, verificar se seu site está sendo indexado pelo Google, realizar buscas como se fosse o Google e diversas outras coisas, acesse o site e se divirta verificando detalhes que podem ser melhorados no seu site.
É isso ai pessoal, espero ver o site de vocês no topo das buscas rs
Até a próxima.
Nenhum comentário:
Postar um comentário