robots.txt

Fabio90

Utente Attivo
29 Feb 2012
506
0
16
Buonasera forum,
ho un sito che presenta diverse url errate ed indicizzate che vorrei rimuovere site:casacasette.it/byp.product_sku

che istruzione posso dare al robots.txt per eliminarle tutte?

Grazie
 

SamTo

Utente Attivo
18 Apr 2015
40
0
6
Torino
Ciao, in realtà così non le rimuovi o meglio Google non le scansionerà più ma rimarranno nella SERP.. Per rimuoverle dalla SERP dovresti prima chiedere a Google di rimuoverle attraverso la Search Console https://www.google.com/webmasters/tools/url-removal e poi il robots farà si che non vengano più reindicizzate :)

Ciao Francesco,
Hai ragione anche se normalmente dopo il disallow la pagina smette di essere indicizzata alla successiva scansione, esistono casi (solitamente giustificati da link con anchor text correlate) in cui la pagina resta visibile nella serp, sostituendo la descrizione con un messaggio di Google.

Però il tool per la rimozione degli url ha una durata temporanea di 90 giorni. Per eliminare in modo permanente la pagina bisogna bloccare l'accesso alla pagina oppure eliminarla.

Quindi se non funziona il disallow da solo, anche con il tool dopo 90 giorni la pagina tornerà visibile nella serp.

Info : https://support.google.com/webmasters/answer/1663419?hl=it


Per eliminare una pagina web dalla serp di Google senza l'uso del robots.txt e senza eliminarla, si può usare il tag robots impostato su noindex.

info : https://support.google.com/webmasters/answer/93710

Buona serata :byebye:
 

Francesco Polese

Utente Attivo
4 Mar 2015
30
0
0
27
Sacile
francescopolese.it
Ciao Francesco,
Hai ragione anche se normalmente dopo il disallow la pagina smette di essere indicizzata alla successiva scansione, esistono casi (solitamente giustificati da link con anchor text correlate) in cui la pagina resta visibile nella serp, sostituendo la descrizione con un messaggio di Google.

Però il tool per la rimozione degli url ha una durata temporanea di 90 giorni. Per eliminare in modo permanente la pagina bisogna bloccare l'accesso alla pagina oppure eliminarla.

Quindi se non funziona il disallow da solo, anche con il tool dopo 90 giorni la pagina tornerà visibile nella serp.

Info : https://support.google.com/webmasters/answer/1663419?hl=it


Per eliminare una pagina web dalla serp di Google senza l'uso del robots.txt e senza eliminarla, si può usare il tag robots impostato su noindex.

info : https://support.google.com/webmasters/answer/93710

Buona serata :byebye:

Giustissima puntualizzazione, perfettamente d'accordo con te!
Buona Giornata ;)
 

Berior

Nuovo Utente
25 Mar 2016
4
0
0
Salve a tutti. Scrivo qui perchè penso di avere anche io un problema con il robots.txt. O almeno potete darmi una mano per capire se effettivamente il mio sito è impostato correttamente per essere indicizzato bene da Google?
Il sito è il seguente:
site:studiometrica.weebly.com
Come potete notare l'ho creato gratuitamente e quindi sono parecchio vincolato (da quel che so non posso modificare da me il file robots.txt).
Scrissi al supporto della Weebly per capire se andasse tutto bene e mi dissero di si. Ma non è che mi fidi tanto di loro. Comunque, da Google Search Console mi da parecchi avvisi relativi a parti bloccate dal robots.txt (scusate i miei termini poco tecnici).
E questo è quello che mi compare se scrivo studiometrica.weebly.com/robots.txt
Sitemap: http://studiometrica.weebly.com/sitemap.xml

User-agent: NerdyBot
Disallow: /

User-agent: *
Disallow: /ajax/
Disallow: /apps/

Cosa è il NerdyBot?
Un saluto
Ivan
 

Francesco Polese

Utente Attivo
4 Mar 2015
30
0
0
27
Sacile
francescopolese.it
Salve a tutti. Scrivo qui perchè penso di avere anche io un problema con il robots.txt. O almeno potete darmi una mano per capire se effettivamente il mio sito è impostato correttamente per essere indicizzato bene da Google?
Il sito è il seguente:
site:studiometrica.weebly.com
Come potete notare l'ho creato gratuitamente e quindi sono parecchio vincolato (da quel che so non posso modificare da me il file robots.txt).
Scrissi al supporto della Weebly per capire se andasse tutto bene e mi dissero di si. Ma non è che mi fidi tanto di loro. Comunque, da Google Search Console mi da parecchi avvisi relativi a parti bloccate dal robots.txt (scusate i miei termini poco tecnici).
E questo è quello che mi compare se scrivo studiometrica.weebly.com/robots.txt
Sitemap: http://studiometrica.weebly.com/sitemap.xml

User-agent: NerdyBot
Disallow: /

User-agent: *
Disallow: /ajax/
Disallow: /apps/

Cosa è il NerdyBot?
Un saluto
Ivan

E' un nuovo crawler web.. Secondo me il robots è corretto. Stai bloccando la scansione del sito da parte di NerdyBot che a giudicare da quanto ho letto in altri forum non se ne parla benissimo.. :):byebye:
 
Discussioni simili
Autore Titolo Forum Risposte Data
S [HTML] [robots.txt] Cos'è MJI2bot? HTML e CSS 1
otto9due Robots.txt mail di google per js e css bloccati SEO e Posizionamento 5
Max 1 Composizione Robots.txt HTML e CSS 5
filippino come si crea Robots.txt SEO e Posizionamento 1
filippino File robots.txt e frequenza di scansione googlebot SEO e Posizionamento 0
open-think robots.txt SEO e Posizionamento 0
F Quale tag è quello giusto? <meta name="robots" content="index, follow"> oppure .... HTML e CSS 1
S Meta tag robots HTML e CSS 1
peppoweb E' il linguaggio Java che guida i movimenti dei robots su Marte Discussioni Varie 0
peppoweb SpiderTrax, un freeware per monitorare gli accessi dei robots SEO e Posizionamento 0
G leggere file txt e stampare con php il contenuto a video PHP 7
Cosina mostrare contenuto da file txt PHP 2
B Da XML a TXT x4 XML 0
L Select Dinamiche...da txt? PHP 3
Cosina Cancellare una specifica email da un elenco in un file txt PHP 3
Cosina Invio messaggio a mailing list su file txt PHP 9
A aggiungere stringa all'inizio di ogni riga di un file txt PHP 3
Gabriele15497514 php testo errato durante la lettura del file txt quando lo script viene eseguito contemporaneamente PHP 3
Cosina [PHP] Cancellare una riga da un file txt in base alla data PHP 1
C [PHP] Pagina html che legge file txt PHP 41
A Da php a file txt PHP 5
Drago73 [Java] leggere/scrivere txt server Java 0
A [PHP] Prelievo dati da .txt PHP 12
spider81man Scrivere su file .txt da form php PHP 2
M [PHP] Filtro da TXT con collegamento ipertestuale PHP 13
K Script PHP per leggere array.txt Presentati al Forum 3
A [PHP] Visualizzazione righe (a capo) file .txt PHP 2
giannit [PHP] Creare pagina con collegamenti ipertestuali da file txt PHP 6
G sql.txt problemi nella creazione delle tabelle Database 0
manugonn [PHP] [HTML] SCRITTURA SU FILE TXT DA FORM PHP 11
J [Javascript] Lettura file di testo (.txt) Javascript 1
Joker37 Generare file txt con php estraendo codice html. PHP 4
utente testo scorrevole html da file txt o xml HTML e CSS 6
localhost.nicola Includere file HTML/TXT su script php PHP 3
Trapano Leggere un file .txt dal fondo PHP 7
I estrarre solo la p.iva e il range di pagine relativo da un file txt C/C++ 0
T sostituzione testo in un file txt. PHP 4
G Da file txt a tabella html PHP 11
B div riempito con testo collegato a esempio.txt o sincronizzazione tra div HTML e CSS 1
N [MAMP] Problemi con htaccess.txt Apache 0
C dati form su file txt in locale Javascript 0
M Problema con date importate da file txt PHP 13
M ordinamento array file txt in base al contenuto PHP 1
M Ricerca di un txt all'interno di una pagina html HTML e CSS 1
L Ricerca in file txt PHP 1
E Cercare un valore e scrivere tutta la riga txt che lo contiene PHP 15
filippino Paginazione file txt con PHP? PHP 1
L [c++] Problema leggere file txt riga per riga C/C++ 0
Trapano [risolto] Leggere da un file txt in ordine inverso PHP 2
A [RISOLTO] Estrarre porzione documento txt PHP 10

Discussioni simili