Sito in fase di sviluppo: bloccare tutti gli spider

filomeni

Moderatore
Membro dello Staff
MOD
14 Mag 2006
1.052
6
38
50
Roseto degli Abruzzi (TE)
www.sitiweb.cloud
Mi sto ponendo una domanda, ho in corso la progettazione di un sito che attualmente è online. Il sito è navigabile e sono presenti i contenuti ma è molto complesso quindi ci sono variazioni e repentini cambiamenti di link...
La cosa migliore da fare è bloccare tutti gli spider?
Quello che mi viene da pensare è che sicuramente troveranno molti "falli" come 404 o altri errori dovuti alle variazioni del corso della progettazione...
Oppure c'è un sistema per "dichiarare" ai motori di ricerca che il sito è in lavorazione?
Grazie.
 

maxbossi

Amministratore
Membro dello Staff
ADMIN
MOD
25 Feb 2003
2.020
39
48
www.ikiweb.it
Una soluzione (secondo me la più corretta) consiste nello sviluppare il sito off-line oppure on-line ma "dietro le quinte" (cioè non renderlo da subito visibile a spider ed utenti casuali).

Se questa strada non ti convince o non è possibile ed hai paura delle possibili conseguenze della visita di uno spider puoi impostare un blocco temporaneo (che rimuoverai quando il sito sarà finito) utilizzando il file robots.txt

Ciao
 

filomeni

Moderatore
Membro dello Staff
MOD
14 Mag 2006
1.052
6
38
50
Roseto degli Abruzzi (TE)
www.sitiweb.cloud
per il file robot.txt, in questo caso bisogna solo scrivere nel file "Disallow: /" o altro?
Una soluzione (secondo me la più corretta) consiste nello sviluppare il sito off-line oppure on-line ma "dietro le quinte" (cioè non renderlo da subito visibile a spider ed utenti casuali).

Se questa strada non ti convince o non è possibile ed hai paura delle possibili conseguenze della visita di uno spider puoi impostare un blocco temporaneo (che rimuoverai quando il sito sarà finito) utilizzando il file robots.txt

Ciao
 
Discussioni simili
Autore Titolo Forum Risposte Data
Danilo82 Problema con sito web in fase di creazione HTML e CSS 3
D Creazione sito e-commerce WP Content Management System (CMS) 0
R Dubbi copia sito WordPress 7
R Dubbi copia sito Content Management System (CMS) 1
A Consiglio per creazione sito web Content Management System (CMS) 0
S CREAZIONE DI SITO PER CORSI DI FORMAZIONE WordPress 1
M eliminare padding logo sito HTML e CSS 1
M Come individuare il link sito entrante Google Analytics 1
I PROBLEMA: Sostituzione sito XAMPP E-Commerce 0
D Progetto sito Discussioni Varie 1
M [Cerco] aiutanti per creare sito Offerte e Richieste di Lavoro e/o Collaborazione 4
R inserire video nel sito HTML e CSS 15
C Come caricare foto da google foto ad un sito? Discussioni Varie 1
G cerco: traffico sito, pubblicità condividente post su pagine gruppi Vendere e Acquistare pubblicita' online 0
R Navigare sito con cURL, mi restituisce errore PHP 0
U traffico verso sito Vendere e Acquistare pubblicita' online 3
M Come gestire aggiornamenti e modifiche di sito live Content Management System (CMS) 0
D VENDO Guest Post ZA 45 su sito dedicato agli influencer italiani Vendere e Acquistare pubblicita' online 0
D [VENDO] Guest Post/Banner su sito Offerte e Richieste di scambio links 0
U [Cerco ] incremento traffico per il mio sito Vendere e Acquistare pubblicita' online 0
C Aggiornamento automatico da un sito ad un’altro WordPress 0
P Mascheramento video youtube su sito proprio HTML e CSS 5
L titolo del sito nella pagina di ricerca di google SEO e Posizionamento 2
A Copertura: indicizzata, non inviata nella mappa del sito XML 1
C modificare sito in locale con dreamWeaver HTML e CSS 3
Tommy03 App mobile+ sito web con lo stesso database Sviluppo app per Android 4
P Lingue e Seo sito php SEO e Posizionamento 17
F Aggiungere automaticamente sito a home del telefono HTML e CSS 2
S [Vendo] Sito Wordpress Altri Annunci 0
Shyson Link social penalizzano il sito? SEO e Posizionamento 14
E Creazione di un sito di news PHP 16
S Scelta software/cms per creazione sito Webdesign e Grafica 6
S Trasferire dati sulle pagine del sito PHP 7
F Problemi di visualizzazione di un sito su più browser WordPress 0
B Sito dove vendere e comprare di tutto Offerte e Richieste di Lavoro e/o Collaborazione 1
A Progetto Sito web responsive HTML e CSS 2
S Problemi di visualizzazione form contatti sito web HTML e CSS 2
E Sito con procedure guidate per la scelta prodotti Content Management System (CMS) 0
T Vendo sito di E-commerce in dropshipping Compravendita siti e domini 0
R Creazione sito eccomerce privato. Offerte e Richieste di Lavoro e/o Collaborazione 2
Web93 CREARE SITO WEB COMICS CON WORDPRESS WordPress 0
M [VENDO]Sito web su misura e richiesta Compravendita siti e domini 0
A Cornici immagini per sito Web Wordpress WordPress 1
P Sito creano con Joomla con sottominio che reindirizza a sito esterno Domini 1
8Milo6 Ricreare un Sito wix HTML e CSS 5
G sito wordpress da remoto a locale con xampp WordPress 2
D sito fantasma SEO e Posizionamento 4
@ VENDO database e sito Compravendita siti e domini 0
gandalf1959 ricercare porzioni di codice da sito gestito con WordPress WordPress 11
S VENDO PAGINA FACEBOOK SUPER SCONTI ONLINE CON SITO E ALTRO Annunci servizi di Social Media Marketing 0

Discussioni simili