Sul sito http://www.darrinward.com/cgi-scripts/spydertrax.htm è stato rilasciato SpyderTrax, uno script gratuito in perl per analizzare gli accessi dei robots dei motori di ricerca al vostro sito web.
I motori di ricerca visitano infatti regolarmente i siti web con i propri agenti (detti robots) per esatrapolarne ed archiviarne il codice, ed indicizzarlo nel proprio database.
Con questo script è possibile sapere in tempo reale quale robot è entrato nel sito e su quale pagina; i robots supportati sono quelli di Google, Inktomi, Fast (AllTheWeb), Teoma, OpenFind, WiseNut ed altri, ma è possibile editare lo script per aggiungerne nuovi.
fonte: submission.it
I motori di ricerca visitano infatti regolarmente i siti web con i propri agenti (detti robots) per esatrapolarne ed archiviarne il codice, ed indicizzarlo nel proprio database.
Con questo script è possibile sapere in tempo reale quale robot è entrato nel sito e su quale pagina; i robots supportati sono quelli di Google, Inktomi, Fast (AllTheWeb), Teoma, OpenFind, WiseNut ed altri, ma è possibile editare lo script per aggiungerne nuovi.
fonte: submission.it
