creare un crawler

[achille610]

Ciao a tutti,
chi mi saprebbe dire come posso creare un crawler in php!!!

Ne vorrei creare uno che i serve per prendere semplici informazioni da un sito, ma nn so da dove iniziare.

qualcuno mi può aiutare ???

grazie

 

[artasdog]

Per recuperare le pagine
Puoi usare la libreria CURL di PHP per recuperare il contenuto delle pagine.

Per analizzare i contenuti delle pagine
Puoi usare delle espressioni regolari sul contenuto dei documenti che recuperi in modo da ottenere esattamente le cose che ti servono. Se vuoi esercitarti con delle espressioni regolari vedi regex tester.

 

[achille610]

Grazie mille per la risposta, sto guardando le espressioni regolari e sembra di capire che nn è complicatissimo per quello che devo fare io, ma una domanda mi sovviene!!!

Ma poi per mandare questo script all'interno del sito che vorrei come faccio ?! potresti aiutarmi con un semplice esempio ?

grazie
S

 

[artasdog]

    $ch = curl_init();
    curl_setopt($ch, CURLOPT_URL, 'http://example.com/pagina-che-vuoi-recuperare');
    curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 5);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_USERAGENT, 'User agent inventato');
    $ch_data = curl_exec($ch);
    curl_close($ch);

Il contenuto della pagina finisce in $ch_data, comunque ti consiglio di studiarti le opzioni ecc.

Poi applichi le tue espressioni regolari a $ch_data e tiri fuori quello che ti pare.