Sì, questo dovrebbe risolvere il tuo problema. Il punto è che ci sono moltissimi crawler sul Web, anche alcuni poco conosciuti ma che comunque setacciano la Rete alla ricerca di informazioni, e non tutti rispettano il contenuto del file robots.txt. Se vuoi scomparire da Google, Yahoo!, Bing, e tutto il resto, allora va bene la soluzione che ti ho indicato io. Ma purtroppo, dopo aver immesso le proprie informazioni in Internet, non esiste alcun modo certo per scomparire.