Destaque
Capa » Análises » Crawler Googlebot-Teoria de Funcionamento

Crawler Googlebot-Teoria de Funcionamento

Hoje decidi escrever um pouco sobre esta visita que todo o site vive louco por receber, e os que não recebem, vêm os seus negócios completamente comprometidos. Esta visita tem até um nome completo: Mr. Crawler Googlebot! Não há duvidas que este é o individuo que mais visita páginas na internet( não só visita, mas também lê e avalia o conteúdo de todas as páginas que consegue alcançar!), mas você sabe como ele efectua estas visitas? Qual o caminho por onde passa e como fazer para ele retornar com mais freqüência? Pois então aqui iremos analisar a consciência deste adorável visitante.

Não sou nenhum profissional da Google, e nem participei da elaboração do algoritmo para a criação deste robot(se eu participasse ganharia o prémio Nobel da Informática!), que eu considero o robot mais inteligente até aqui criado, mas pela lógica do seu funcionamento, que venho observando há já algum tempo, posso tirar aqui algumas conclusões. Primeiro temos de saber o que é um Crawler, mas neste ponto existe um serviço que a Google tem e parece que não tem um nome, mas eu vou chamar aqui de Google Definitions, e que nos deu a seguinte informação: Crawler é um robot que passeia pela internet, visitando sites, a partir de links e usa o conteúdo encontrado lá para alguma coisa especifica. Entendeu? Se não, vá para o nosso serviço sem nome citado acima e experimenta por você mesmo!

Na definição acima, vimos a palavra links, então já sabes como este robot (sem pernas) se locomove pela net, a partir de links. Ele vai para um site conhecido, e segue os links que lá encontrar, cada vez que encontra um site desconhecido, então passa a conhecer. Então se o seu site não é conhecido por ele, basta que você coloque um link no seu caminho, que ele vai passar a conhecer. Este link para o seu site pode ser colocado em qualquer página que o Crawler Googlebot já conheça, ou mesmo passado directamente para ele através de um sistema de cadastro que pode ser encontrado no próprio site da Google.

Ok! Já somos amigos do Mr. Crawler Googlebot, pois ele já nos conhece, mas agora falta fazermos com que ele nos visite com mais freqüência, para que indexe o nosso conteúdo mais rapidamente no seu sistema de buscas! O segredo para fazer isso é a freqüência da atualização do seu site, pois basicamente o Mr. Crawler Googlebot funciona da seguinte forma: Ele visita o seu site hoje e indexa todo o conteúdo que puder, vai embora e volta daqui a 30 dias, por exemplo.

Se ao voltar encontrar conteúdo novo, ele verá que chegou tarde e tentará voltar mais cedo( 15 dias por exemplo). Se mesmo assim encontrar o site já atualizado, voltará mais cedo, mais cedo, até que atinja o tempo mínimo possível de visita. Mas se ele volta duas semanas depois e não encontra nada de novo para indexar, com certeza não perderá tempo visitando o seu site de novo tão cedo, e tentará gastar o seu tempo com sites mais flexíveis. Isto pode ser notado, por exemplo em mega-portais como o uol,etc. onde o conteúdo novo aparece nos índices do Google Search quase que no mesmo dia em que foram adicionados, enquanto que em sites como o meu antigo, isso não demorava menos de duas semanas a acontecer. A solução para este problema passa necessariamente por regular a atualização dos seus sites, para assim regular as suas visitas. Se você atualiza os seus sites todas as semanas, provavelmente o seu conteúdo seja indexado todas as semanas, mas se atualiza diariamente alguns dias e depois passa dias sem atualizar, isso pode confundir o Mr. Crawler!

Se você se sente muito inspirado em escrever( como eu estou hoje, veja pelo tamanho do artigo!), escreva e deixe alguns artigos programados para os dias de menos inspiração( para mim estes dias aparecem com muita frequência), pois quase todos os sistemas fazem isso. Talvez regular também a hora de publicação pode ajudar o nosso Googlebot, mas ainda não comecei a usar isso. De tanto cometer este erro, há meses que eu passei dos 30 artigos e outros dificilmente cheguei aos 15!.

Outro factor importante é até lógico: Se você ao sair descalço passa por um caminho cheio de pedras,etc. que atrapalham a sua caminhada, provavelmente na próxima saída você procurará outro caminho né?( isso não quer dizer que o Mr. Crawler anda descalço, ou anda!!?), mas com o Googlebot é assim mesmo que acontece: Ele visita o seu site e encontra o código fonte todo atrapalhado, mal escrito,desorganizado, etc. provavelmente ele não voltará mais ao seu site, isto em palavras de webmaster traduz-se em: “foi banido”. Claro que as pedras aqui podem não ser só o código fonte desorganizado, mas também “links para o abismo!”, tentativas de burla, etc.

Os links para o abismo são links para sites que disponibilizam conteúdo ilegal, ou violento,etc. enquanto que as tentativas de burla são todas aquelas técnicas de Black Hat que você tem no seu site(mas agora vais tirar todas né? É bom para o Mr. Crawler então será bom para você também)!

Tenha cuidado, pois é difícil fazer amizades com o Crawler Googlebot( Mr. Porque os criadores já tem 35 anos!), mas é tão fácil deixar de ser, e quando ele decide te colocar na lista negra, dificilmente você sairá de lá, a não ser que mude de nome e endereço( domínio e hospedagem nesse caso).

Sobre Elisio Leonardo

Scroll To Top