Non è che la prima volta che parliamo del file “robots.txt”, ovvero quel file di testo utilizzato per impostare particolari restrizioni ai Bot (chiamati anche Spider, dei Motori di ricerca) per l’indicizzazione e l’analisi di un determinato sito web.
Il file infatti, è di notevole importanza e contiene precise istruzioni che possono impedire a tutti o solo alcuni spider, il prelievo di alcune o tutte le pagine di un sito.
A seconda dell’applicativo o del CMS che utilizzate per il vostro sito web, è possibile generare dei file robots.txt, ottimizzati, ovvero creati appositamente per bloccare alcune cartelle e/o file che è preferibile far indicizzare da Google e gli altri motori di ricerca.
Ecco in questo articolo, un file robots.txt, già pronto e ottimizzato per l’utilizzo con vBulletin 4.
User-agent: *
Disallow: /ajax.php
Disallow: /calendar.php
Disallow: /customavatars/
Disallow: /customgroupicons/
Disallow: /customprofilepics/
Disallow: /faq.php
Disallow: /includes/
Disallow: /insights/
Disallow: /install/
Disallow: /login.php
Disallow: /member.php
Disallow: /memberlist.php
Disallow: /members/
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /report.php
Disallow: /reputation.php
Disallow: /search.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /subscription.php
Disallow: /threadrate.php
Disallow: /usercp.php
Disallow: /usernote.php
Sitemap: http://www.vostrosito.it/sitemap_index.xml.gz
Ovviamente, vi ricordo che il file robots.txt va posto nella directory principale del vostro sito, diventando raggiungibile all’indirizzo:
http://www.nomesito.it/robots.txt
Come personalizzare il file Robots.txt
Se volete personalizzare il file robots.txt, utilizzando altri comandi, ecco per voi una guida completa ricca di esempi ed istruzioni.
Alla prossima!
