Cum indexeaza google un site

Modalitatea de indexare a site-ului utilizata de Google

Motoarele de cautare utilizeaza programe software, "bot", care sunt programate sa viziteze fiecare pagina a unui site, sa o catalogheze si sa o introduca intr-o baza de date. Google are trei bots bine cunoscuti: botul de Adsense, Freshbot, si botul DeepCrawl.

Botul de Adsense, dupa cum ii sugereaza si numele, este utilizat de cei care plaseaza Adsense pe site-urile lor. O data ce un site este creat, javascriptul din cadrul codului Adsense, trimite un semnal botului de Adsense care va indexa pagina in cateva minute pentru a putea servi add-urile cele mai relevante.

Freshbot realizeaza procesul de crawl pentru cele mai populare pagini ale unui site. Din punctul sau de vedere nu conteaza ca este vorba despre o pagina sau despre o mie. Site-uri precum Amazon.com sau BBC au pagini care sunt vizitate o data la 10 minute deoarece botul Google stie ca respectivele pagini au o asemenea frecventa a modificarilor. Un site normal poate fi vizitat o data la 1-14 zile, in functie de numarul de modificari si frecventa cu care sunt realizate. Freshbot gaseste toate link-urile unui site, le plaseaza intr-o baza de date astfel incat botul DeepCrawl sa aiba un punct de referinta.

Aproximativ o data pe luna, botul DeepCrawl viziteaza site-ul si parcurge toate link-urile gasite de Freshbot. Din acest motiv, indexarea unui site poate dura cam o luna chiar si cu ajutorul Google Sitemap. Exista cazuri, site-uri cu zeci sau sute de mii de pagini pentru care indexarea poate dura chiar mai mult. Procesul depinde insa, in mare parte, de numarul de IBL-uri pe care site-ul dvs. le are deoarece acest fapt va spori popularitatea si page rank-ul iar paginile vor fi indexate mai des si vor aparea mai repede in cadrul motoarelor de cautare. Indexarea mai poate fi accelerata prin adaugarea regulata de continut proaspat insa unic atat in ceea ce priveste interiorul site-ului cat si ceea ce se gaseste in afara, sporirea numarului de ibl-uri catre pagini interioare ale site-ului, titluri distincte pentru fiecare pagina a site-ului, fiecare pagina sa aiba cel putin o legatura de pe o alta pagina a site-ului.