Salve a tutti. Scrivo qui perchè penso di avere anche io un problema con il robots.txt. O almeno potete darmi una mano per capire se effettivamente il mio sito è impostato correttamente per essere indicizzato bene da Google?
Il sito è il seguente:
site:studiometrica.weebly.com
Come potete notare l'ho creato gratuitamente e quindi sono parecchio vincolato (da quel che so non posso modificare da me il file robots.txt).
Scrissi al supporto della Weebly per capire se andasse tutto bene e mi dissero di si. Ma non è che mi fidi tanto di loro. Comunque, da Google Search Console mi da parecchi avvisi relativi a parti bloccate dal robots.txt (scusate i miei termini poco tecnici).
E questo è quello che mi compare se scrivo studiometrica.weebly.com/robots.txt
Sitemap:
http://studiometrica.weebly.com/sitemap.xml
User-agent: NerdyBot
Disallow: /
User-agent: *
Disallow: /ajax/
Disallow: /apps/
Cosa è il NerdyBot?
Un saluto
Ivan