Il file robots.txt di un dominio può rivelarsi un efficace mezzo di comando per la scansione. Tuttavia in molti progetti diventa spesso causa di conflitti interni e d’inspiegabili ritardi, quando si tratta di modificarlo.
Per evitare i problemi precedenti e rendere possibile una valutazione molto più pulita del comportamento del Crawler per un determinato progetto, si può ora attivare un file robots.txt virtuale all’interno dell’Optimizer.
Nel tuo progetto potrai infatti selezionare la voce “Impostazioni progetto > Crawling” nella finestra posta in alto a destra, e decidere se utilizzare un file robots.txt virtuale, al posto di quello reale.
Spunta semplicemente la casella e inserisci il contenuto del file per il quale desidereresti usare un reale file robots.txt.
Il nostro Crawler effettuerà questa impostazione manuale durante la prossima scansione del progetto e terrà conto del file robots.txt virtuale al posto di quello reale.
Un’indicazione d’uso potrebbe essere, ad esempio, la delimitazione delle scansioni per alcune directory specifiche.
