Solo i crawler dei motori di ricerca interpretano i valori Meta Element “robots”. Nella maggior parte dei casi, i valori “Index” e “Follow” sono usati per indicare al crawler d’includere la pagina corrente nel loro indice e di seguirne tutti i link.
Index e Noindex
Inserendo il seguente markup nel codice sorgente della pagina, quest’ultima sarà aggiunta all’indice del motore di ricerca e ne saranno scansionati tutti i link:
<meta name="robots" content="index, follow">Se invece non vuoi che un determinato URL sia presente nell’indice di Google (o di un qualsiasi motore di ricerca), dovrai impostare il meta-element “robots” come Noindex all’interno del codice sorgente della pagina.
Aggiungendo tale markup al codice sorgente della pagina, ti assicurerai che essa non venga inclusa nell’indice:
<meta name="robots" content="noindex">Ha senso usare i valori Noindex e Follow insieme?
Dipende da ciò che si desidera ottenere. Cosa potrebbe spingerti ad evitare l’indicizzazione di una pagina da parte dei motori di ricerca, mantenendo però la possibilità che i link presenti al suo interno vengano scansionati?
Matt Cutts ci offre un ottimo esempio in un video di Google Webmaster:
Immaginiamo di avere una sitemap HTML con qualche centinaia di link interni e che, per qualche ragione, essa non sia graficamente ben fatta. Un utente che vi atterra arrivando dalle pagine dei risultati di Google probabilmente non ne sarà soddisfatto. Per evitare questa situazione, ma permettere comunque che i motori di ricerca continuino a seguire i link presenti al suo interno, è utile usare i valori Noindex e Follow insieme.
Aggiungendo questo tipo di markup al codice sorgente della pagina eviterai che sia inclusa nell’indice dei motori di ricerca, ma permetterai ai link al suo interno di essere scansionati:
<meta name="robots" content="noindex, follow">Un’altra possibile modalità d’uso riguarda le pagine tag dei blog:
In alcuni casi i webmaster hanno notato che le pagine tag dei loro blog si posizionavano meglio degli articoli corrispondenti, ed avevano spesso 2 o 3 posizioni di vantaggio. Modificando le pagine tag e impostandole come Noindex e Follow, i Ranking degli articoli sono migliorati di 2 o 3 posizioni.
Cosa dice Google?
Non accade spesso, ma ci sono situazioni in cui può essere utile farlo.
Fonte: Matt Cutts
