Googlebot è il web crawler di Google: raccoglie e indicizza contenuti in rete creando le condizioni per consentire a Google di rispondere alle query di ricerca. Leggi questo articolo per scoprire di più su come funziona Googlebot e sul suo ruolo nella SEO.
I crawler dei motori di ricerca sono costantemente impegnati a scansionare i siti. Ciò significa che raccolgono e analizzano contenuti, e creano e/o aggiornano un indice. Le informazioni che il motore di ricerca mette a disposizione degli utenti provengono da questo indice. In altre parole: senza un indice, non esiste un motore di ricerca.
Nel processo, i crawler si muovono lungo gli hyperlink, come i ragni sui fili della loro tela: per questo motivo i crawler vengono anche chiamati “Spider”.
Come crawler del motore di ricerca di gran lunga più importante, Googlebot occupa una posizione di rilievo tra i suoi simili.
Diversi tipi di Googlebot
Per essere precisi, non è del tutto corretto parlare “del” Googlebot dato che ne esistono di diversi tipi.
Google stesso distingue innanzitutto tra:
- un crawler desktop
- un crawler mobile
Di norma tutti i siti vengono scansionati da entrambi. Inoltre, esistono anche questi Googlebot:
- Googlebot immagini
- Googlebot news
- Googlebot video
Googlebot e la SEO
Googlebot è centrale per la SEO per un semplice motivo:
Solo nel momento in cui le pagine vengono indicizzate appaiono (nella loro forma attuale) nei risultati di ricerca. Solo allora le misure di ottimizzazione per i motori di ricerca, come l’integrazione delle keyword, hanno effetto.
A tal riguardo hai diverse opzioni per controllare Googlebot:
- assicurarti che possa scansionare e indicizzare tutte le pagine importanti regolarmente
- non indicizzare le pagine non importanti
In questo contesto, il Crawl Budget gioca un ruolo importante. Googlebot ha a disposizione solo una quantità limitata di “risorse” per ogni URL, quindi può effettuare la scansione solo di un certo numero di pagine.
Come aiutare Googlebot nel processo di crawling
Con le seguenti misure ti puoi assicurare che Googlebot indicizzi tutti i contenuti importanti del tuo sito:
- Fai in modo che il tuo sito abbia un’architettura piatta.
- Ottimizza i link interni: Googlebot può trovare le pagine solo grazie ai link.
- Fornisci a Google una Sitemap: inviala con Search Console o aggiungila al file robots.txt. Si tratta di una sorta di mappa per il Googlebot.
Bloccare le pagine: come e perché
A volte ha senso impedire che Googlebot indicizzi o scansioni alcuni contenuti. In questo modo impedisci ad esempio la formazione di contenuti duplicati, la comparsa di pagine Admin nei risultati di ricerca o uno spreco di Crawl Budget. In ultima analisi, impedisci anche la perdita di ranking.
In base a ciò che vuoi raggiungere puoi decidere di affidarti al robot-txt, ai Canonical Tag o agli X-Robots-Tag.
Importante: ognuno di questi metodi è adatto a una diversa area di applicazione, quindi assicurati di utilizzarli in modo mirato per raggiungere lo scopo prefissato.
