Generatore Robots.txt

Default - Tutti i Robot sono:	Permesso Rifiutato
Crawl-Delay:	Predefinito - nessun ritardo 5 Seconds 10 Seconds 20 Seconds 60 seconds 120 Seconds
Sitemap: (lasciare vuoto se non disponibile)
Cerca robot:	Google	Uguale a quello di default Permesso Rifiutato
	Google Image	Uguale a quello di default Permesso Rifiutato
	Google Mobile	Uguale a quello di default Permesso Rifiutato
	MSN Search	Uguale a quello di default Permesso Rifiutato
	Yahoo	Uguale a quello di default Permesso Rifiutato
	Yahoo MM	Uguale a quello di default Permesso Rifiutato
	Yahoo Blogs	Uguale a quello di default Permesso Rifiutato
	Ask/Teoma	Uguale a quello di default Permesso Rifiutato
	GigaBlast	Uguale a quello di default Permesso Rifiutato
	DMOZ Checker	Uguale a quello di default Permesso Rifiutato
	Nutch	Uguale a quello di default Permesso Rifiutato
	Alexa/Wayback	Uguale a quello di default Permesso Rifiutato
	Baidu	Uguale a quello di default Permesso Rifiutato
	Naver	Uguale a quello di default Permesso Rifiutato
	MSN PicSearch	Uguale a quello di default Permesso Rifiutato
Directory privata:	Il percorso è relativo alla radice e deve contenere una "/" "/"

Crea il file "robots.txt", copia il testo ed incollalo all'interno di un file chiamato "Robots.txt". Infine inserisci questo file nella root del tuo sito web.

Info Generatore Robots.txt

 

Per comprendere appieno la rilevanza del Robots.txt, è importante sapere a cosa serve. Il Robots.txt è la prima cosa che i motori di ricerca cercano ogni volta che eseguono la scansione di un sito. Una volta trovato, controllano l'elenco delle direttive del file per sapere quali file e directory, se presenti, sono specificamente bloccati dalla scansione.

Il Robots.txt può essere creato usando il nostro strumento di Generatore Robots.txt. Se si utilizza questo strumento SEO per creare il file, i motori di ricerca vedranno automaticamente quali pagine su un determinato sito web dovrebbero essere escluse. Questo tool permette di ottenere le stesse analisi seo di software molto conosciuti come Ahrefs, Majestic, SEOmoz, SEMrush, WebMeUp, SEOprofiler ma in maniera gratuita!

 

Utilizzo di Generatore Robots.txt

Con lo strumento Generatore Robots.txt puoi anche modificare un file Robots.txt esistente oltre a crearne uno nuovo. Per utilizzarlo, è sufficiente incollare i dettagli nella casella di testo dello strumento. Dopodiché, devi solo fare clic sul pulsante Crea Robots.txt.

È possibile anche impostare delle nuove direttive all'interno del file Robots.txt. e scegliere se i contenuti devono far parte di quelli allow o disallow. Ricorda che il valore predefinito è "allow" che è quello che indica ai crawler di indicizzare i contenuti, quindi se vuoi disabilitare qualcosa, imposta disallow.

Aiuta Google, Bing, Yahoo! e altri motori di ricerca a indicizzare correttamente la tua pagina! L'mpostazione predefinita consentirà ai principali motori di ricerca di eseguire la scansione sull'intero sito. Se vuoi mantenere qualcosa di privato nella tua pagina, questo strumento ti sarà di grande supporto.