Composizione Robots.txt

Max 1

Super Moderatore
Membro dello Staff
SUPER MOD
MOD
29 Feb 2012
4.406
339
83
C'è chi sostiene che l'istruzione Disallow vuole scritta così:
Codice:
Disallow: /admin
e c'è chi sostiene che vuole scritta così:
Codice:
Disallow: /admin/
secondo voi quale è la versione giusta?
 

Max 1

Super Moderatore
Membro dello Staff
SUPER MOD
MOD
29 Feb 2012
4.406
339
83
È quello che penso anche io, ma l'opposizione è forte! C'è chi dice che una regola fissa e uno standard non esiste
 

MarcoGrazia

Utente Attivo
15 Dic 2009
813
18
18
60
Udine
www.stilisticamente.com
Allora: quella mostrata è la regola, poi ovviamente chi progetta un motore di ricerca segue la regola ufficiale o meno, Microsoft ad esempio non usa la parentesi finale per le cartelle, cioè la prima che hai scritto, per Google invece è necessaria.
Poi ovviamente chi più ne ha ne metta!
Google ha implementata la funzione Sitemap: che permette di definire la sitemap.xml direttamente nel file robots.txt
Oppure Allow: come contrario di Disallow:
Esisteno le Extended Standard for Robots Exlusion che propongono anche comandi per i crawler per dire quando passare e quandi ripassare, ovviamente non sono standard.

Questo il file robots.txt della wikipedia, studialo se vuoi https://it.wikipedia.org/robots.txt
fonti varie delle cavolate che dico: :D
https://it.wikipedia.org/wiki/Protocollo_di_esclusione_robot
https://support.google.com/webmasters/answer/6062608?hl=it
https://support.microsoft.com/it-it/kb/217103/it
 

Max 1

Super Moderatore
Membro dello Staff
SUPER MOD
MOD
29 Feb 2012
4.406
339
83
Ciao. Si! È tutto esatto! Ma la discussione mi appassionava.

Una cosa che non ho mai provato e verificato l'effetto, (non saprei neanche come fare la verifica) è scrivere entrambe le versioni nello stesso robots. Cosa pensi, che i motori se ne abbiano a male?
 

MarcoGrazia

Utente Attivo
15 Dic 2009
813
18
18
60
Udine
www.stilisticamente.com
Ma io penso che è perfettamente inutile dato che uno, cioè BING li legge senza slash finali e gli altri no.
Una possibilità forse è seguire il file robots di Ask.com uno dei motori di ricerca commerciali più usati, eccolo qui: http://www.ask.com/robots.txt
Se ho capito il senso di quello che hanno fatto, ma non ne sono poi tanto sicuro perché mi pare un bel casino, lo usano così:
Codice:
isallow: /Allabout
Disallow: /allabout?
Disallow: /ans
Disallow: /answers
Disallow: /ar?
Disallow: /maps?
Disallow: /News
Disallow: /news?
Disallow: /Pictures
Disallow: /pictures?
Disallow: /ref
Disallow: /settings
Disallow: /
Cioè usano un carattere ? ma non so se è un comando per Ask.com o un hack per far saltare ai crawler dei comandi, certo non è standard.
Il fatto è che robots.txt non ti asscura affatto che un qualsiasi bot che passa di lì lo legga o se dopo averlo letto decida di fare ciò che c'è scritto dentro.
Chi comanda al solito sono i motori di ricerca non tu, non io, e ne a quanto pare gli standard.
Quello che bisogna fare è usare le direttive di Google perché sicuramente è il più usato tra i motori di ricerca e sperare che comunque anche Bing di fronte ad un Disallow: /dir/ caipisca che vuol dire.
Inoltre usare sempre e comunque le direttive robots dei metatag perché comunque alcuni bot usano leggere solo quelle, e pure Google le usa specie per escludere vecchi file che ha nella serp.
Insomma se non vuoi che un motore di ricerca ficchi il naso nella cartella /dir/ le cose migliori che puoi fare sono sostanzialmente due:
Escluderla da robots.txt e poi dentro mettere un file index.html che porti come unica istruzion <meta name="robots" conten="noindex,nofollow">.
Oppure mettere un file .htaccess che ne vieti l'accesso.
Ovviamente la prima non ti garantisce nulla, mentre la seconda esclude a chiunque l'accesso il che può essere alquanto controproducente.
 
Discussioni simili
Autore Titolo Forum Risposte Data
P Composizione di prodotti HTML e CSS 0
E come faccio a controllare la lunghezza e la composizione di alcune variabili? PHP 2
M Composizione di una Rete Reti LAN e Wireless 1
T Composizione ID sessione PHP 0
S [HTML] [robots.txt] Cos'è MJI2bot? HTML e CSS 1
F robots.txt SEO e Posizionamento 8
otto9due Robots.txt mail di google per js e css bloccati SEO e Posizionamento 5
filippino come si crea Robots.txt SEO e Posizionamento 1
filippino File robots.txt e frequenza di scansione googlebot SEO e Posizionamento 0
F Quale tag è quello giusto? <meta name="robots" content="index, follow"> oppure .... HTML e CSS 1
S Meta tag robots HTML e CSS 1
open-think robots.txt SEO e Posizionamento 0
peppoweb E' il linguaggio Java che guida i movimenti dei robots su Marte Discussioni Varie 0
peppoweb SpiderTrax, un freeware per monitorare gli accessi dei robots SEO e Posizionamento 0
G leggere file txt e stampare con php il contenuto a video PHP 7
Cosina mostrare contenuto da file txt PHP 2
B Da XML a TXT x4 XML 0
L Select Dinamiche...da txt? PHP 3
Cosina Cancellare una specifica email da un elenco in un file txt PHP 3
Cosina Invio messaggio a mailing list su file txt PHP 9
A aggiungere stringa all'inizio di ogni riga di un file txt PHP 3
Gabriele15497514 php testo errato durante la lettura del file txt quando lo script viene eseguito contemporaneamente PHP 3
Cosina [PHP] Cancellare una riga da un file txt in base alla data PHP 1
C [PHP] Pagina html che legge file txt PHP 41
A Da php a file txt PHP 5
Drago73 [Java] leggere/scrivere txt server Java 0
A [PHP] Prelievo dati da .txt PHP 12
spider81man Scrivere su file .txt da form php PHP 2
M [PHP] Filtro da TXT con collegamento ipertestuale PHP 13
K Script PHP per leggere array.txt Presentati al Forum 3
A [PHP] Visualizzazione righe (a capo) file .txt PHP 2
giannit [PHP] Creare pagina con collegamenti ipertestuali da file txt PHP 6
G sql.txt problemi nella creazione delle tabelle Database 0
manugonn [PHP] [HTML] SCRITTURA SU FILE TXT DA FORM PHP 11
J [Javascript] Lettura file di testo (.txt) Javascript 1
Joker37 Generare file txt con php estraendo codice html. PHP 4
utente testo scorrevole html da file txt o xml HTML e CSS 6
localhost.nicola Includere file HTML/TXT su script php PHP 3
Trapano Leggere un file .txt dal fondo PHP 7
I estrarre solo la p.iva e il range di pagine relativo da un file txt C/C++ 0
T sostituzione testo in un file txt. PHP 4
G Da file txt a tabella html PHP 11
B div riempito con testo collegato a esempio.txt o sincronizzazione tra div HTML e CSS 1
N [MAMP] Problemi con htaccess.txt Apache 0
C dati form su file txt in locale Javascript 0
M Problema con date importate da file txt PHP 13
M ordinamento array file txt in base al contenuto PHP 1
M Ricerca di un txt all'interno di una pagina html HTML e CSS 1
L Ricerca in file txt PHP 1
E Cercare un valore e scrivere tutta la riga txt che lo contiene PHP 15

Discussioni simili