Sito in fase di sviluppo: bloccare tutti gli spider

[filomeni]

Mi sto ponendo una domanda, ho in corso la progettazione di un sito che attualmente è online. Il sito è navigabile e sono presenti i contenuti ma è molto complesso quindi ci sono variazioni e repentini cambiamenti di link...
La cosa migliore da fare è bloccare tutti gli spider?
Quello che mi viene da pensare è che sicuramente troveranno molti "falli" come 404 o altri errori dovuti alle variazioni del corso della progettazione...
Oppure c'è un sistema per "dichiarare" ai motori di ricerca che il sito è in lavorazione?
Grazie.

 

[glm1986ITALY]

Stai usando un CMS?

Con WordPress ad esempio esiste un plugin "maintenance mode".

 

[maxbossi]

Una soluzione (secondo me la più corretta) consiste nello sviluppare il sito off-line oppure on-line ma "dietro le quinte" (cioè non renderlo da subito visibile a spider ed utenti casuali).

Se questa strada non ti convince o non è possibile ed hai paura delle possibili conseguenze della visita di uno spider puoi impostare un blocco temporaneo (che rimuoverai quando il sito sarà finito) utilizzando il file robots.txt

Ciao

 

[filomeni]

No non uso CMS, solo un seplice programma testuale.

Stai usando un CMS?

Con WordPress ad esempio esiste un plugin "maintenance mode".

 

[filomeni]

per il file robot.txt, in questo caso bisogna solo scrivere nel file "Disallow: /" o altro?

Una soluzione (secondo me la più corretta) consiste nello sviluppare il sito off-line oppure on-line ma "dietro le quinte" (cioè non renderlo da subito visibile a spider ed utenti casuali).

Se questa strada non ti convince o non è possibile ed hai paura delle possibili conseguenze della visita di uno spider puoi impostare un blocco temporaneo (che rimuoverai quando il sito sarà finito) utilizzando il file robots.txt

Ciao

 

[maxbossi]

Devi scrivere:

User-agent: *
Disallow: /

Per maggiori info: https://www.mrw.it/web-marketing/file-robots-txt_10331.html
Ciao