Cos'è il file robots.txt?

Come è ben risaputo, ci sono un sacco di siti web che forniscono indicizzazione / servizi di ricerca. Google e Yahoo sono quelli maggiormente noti. C'è un aspetto che si presenta degno di essere notato:

I files robot (chiamati anche  bot o crawler) permettono di indicizzare tutti i files ai quali possono accedere.

 

Da questo punto si  sollevano due problemi:

1. I files bot possono indicizzare dati sensibili e renderne piùà semplice l'accesso al pubblico
2. Maggiori sono i files bot processati, e maggiore sarà il carico causato al server.

 

Fortunatamente ci è un aspetto positivo, ossia esiste  un modo per controllare il crawler, ossia i file robots.txt.

Il file robots.txt contiene le istruzioni per la ricerca robot, ma deve essere posizionato nella directory principale (root) di un dominio.
Le istruzioni possono impedire l'accesso ad alcune parti di un sito web, indicando come "rispecchiare" un sito web correttamente, ed iimpostando un tempo massimo ad  i robot per scaricare un file dal server.

Creazione del file è semplice come creare un normale file. Txt.
Potete usare il vostro editor di testo preferito e caricarlo sul server o è possibile crearlo utilizzando il File Manager cPanel,  o con gli  strumenti console  nel caso in cui abbiate l' accesso shell abilitato.

Anche se non si intende creare regole per non consentire l'accesso completo agli indicizzatori, è comunque consigliato per creare un file robots.txt vuoto.

Hai trovato questa risposta utile?

 Stampa Articolo

Leggi anche

Come pubblicare un sito - Pagina Index

Ci sono diversi metodi per costruire un sito. Potresti essere un esperto php / html / css , con...

Cos'e' e come funziona la propagazione DNS

Supponiamo che abbiamo un sito web ed un nome a dominio associato ad esso,  ospitato da un altro...

Cos' e' e come funziona il DNS

Il 99,9% di coloro che hanno  anche solo lontanamente a che fare con il  webhosting hanno...

Come aggiungo una FavICON?

La piccola icona vicino all'URL nella barra di ricerca si chiama "favicon". Vicino all'indirizzo...

Come pubblicare un sito - cPanel File Manager

Una volta completato, il sito può essere pubblicato sul server in diversi modi. Mostreremo i...