Così come i Meta Tag Robots, anche gli X-Robots-Tag vengono utilizzati per controllare la scansione e l’indicizzazione delle pagine web. Tuttavia, presentano delle differenze sostanziali: gli X-Robots-Tag vengono infatti posizionati nelle intestazioni di risposta (Response Headers) del protocollo HTTP e pertanto non sono limitati ai file HTML.
Se non vuoi che delle pagine compaiano nei risultati dei motori di ricerca puoi utilizzare i Meta Tag Robots. Ma se invece volessi indicizzare una pagina, senza però l’immagine al suo interno? In questo caso (e in alcuni altri) è utile usare un X-Robots-Tag.
Come si usa un X-Robots-Tag?
L’X-Robots-Tag è un’intestazione (Header) HTTP. In linea di massima, una risposta con un X-Robots-Tag può apparire come segue:
HTTP/1.1 200 OK Date: Wed, 13 May 2020 19:30:25 GMT (…) X-Robots-Tag: noindex (…)Il codice soprastante viene mostrato nell’intestazione di risposta (Response Header HTTP) degli strumenti per sviluppatori di Chrome. Ecco un esempio con l’X-Robots-Tag (indicato nell’ultima riga):
Come per i Meta Tag Robots, hai la possibilità di combinare più intestazioni (Header) tra loro. Secondo Google i valori sono gli stessi in entrambi i casi, ma la configurazione esatta dipende dal server e da ciò che non deve essere indicizzato.
Con Apache, il tipo di server più diffuso, ti consigliamo di utilizzare i file httpd.conf e .htaccess per impostare gli X-Robots-Tag. Ad esempio, se vuoi evitare che tutti i file PNG e GIF di una pagina vengano indicizzati, inserisci in Apache il seguente codice nel file principale .htaccess o httpd.conf del sito:
<Files ~ "\.(png|gif)$"> Header set X-Robots-Tag "noindex" </Files>Con le opzioni Files e FilesMatch, è possibile utilizzare le espressioni regolari per confrontare un gran numero di file in una singola riga di codice.
Quando è utile usare l’X-Robots-Tag?
L’X-Robots-Tag dovrebbe essere utilizzato solamente dagli utenti esperti perché eventuali errori potrebbero avere delle gravi conseguenze sul tuo sito. Se vuoi davvero usarlo, prima di cominciare ti consigliamo vivamente di eseguire un backup dei dati, in modo da essere tranquillo nel caso qualcosa andasse storto.
Qual è allora l’utilità dell’X-Robots-Tag? Ecco alcune situazioni in cui lo puoi considerare la scelta giusta nonostante il suo complicato utilizzo:
- Per dare delle istruzioni precise ai file non HTML come le immagini o i PDF.
- Per deindicizzare una grande quantità di pagine con determinati parametri (ad esempio un intero sottodominio).
Nel primo caso gli X-Robots-Tag sono l’unica possibilità, nel secondo caso fanno risparmiare tempo e fatica rispetto alla noiosa impostazione individuale dei Meta Tag Robots.
