Inserendo il valore noindex all’interno del codice sorgente di un determinato URL, si indica al motore di ricerca di non indicizzare la pagina in questione.
Cosa significa “noindex” e quando può essere utilizzato?
Il Webmaster può utilizzare il valore noindex per informare il motore di ricerca che una determinata sottopagina di un sito non deve essere inserita nell’Indice.
Si tratta di un metodo affidabile per essere certi che un URL non comparirà nelle SERP. Questa procedura utilizza il Crawl Budget, siccome Google deve richiamare e valutare la pagina, ma non l’Index Budget.
Come posso implementare il valore noindex?
Esistono due possibilità per bloccare l’indicizzazione di una pagina via noindex: inserendolo come Meta Tag nel codice HTML della pagina oppure nell’intestazione HTTP.
Meta Tag nell’intestazione del codice sorgente della pagina
<head>
<meta name="robots" content="noindex">
</head>Attraverso questa indicazione s’indicherà a tutti i motori di ricerca di non indicizzare il contenuto, oppure di vietare l’indicizzazione solo ad alcuni bot. In quest’ultimo caso, è necessario inserire in nome del bot desiderato nell’attributo “name”.
Ad esempio, per Googlebot in generale:
<meta name="googlebot" content="noindex">Oppure per Bingbot in generale:
<meta name="bingbot" content="noindex">Importante: utilizzando quest’ultimo metodo ci si rivolgerà solo a quei determinati bot. Google ha anche creato una lista degli User Agent di tutti i possibili Googlebot.
Intestazione della risposta HTTP
Un’altra possibilità riguarda l’intestazione della risposta HTTP, dove è possibile restituire un’intestazione X-Robots-Tag con un valore noindex.
L’intestazione potrebbe essere simile alla seguente:
HTTP/1.1 200 OK
(…)
X-Robots-Tag: noindex
(…)Anche con questa variante è possibile rivolgersi a specifici Bot: a riguardo, ti consigliamo di leggere l’articolo di Google Developers.
Qual è la differenza tra i due metodi?
Entrambi i metodi portano allo stesso risultato: l’URL non verrà inserito nell’Indice del motore di ricerca.
Il vantaggio del Tag X-Robots riguarda il fatto che anche i documenti privi di codice sorgente HTML (come i file PDF) possono essere esclusi dall’indicizzazione.
Attenzione al robots.txt
Per consentire al noindex di essere riconosciuto e preso in esame dal motore di ricerca, la pagina deve essere scansionabile: per questo motivo è necessario assicurarsi che il crawler non venga bloccato da un file robots.txt.
