Web Scraping: manipolazione e info generali.

IImanuII

Utente Attivo
10 Giu 2012
390
0
16
Salve a tutti, ^^

Per me l'informatica è un hobby, poichè nella vita ho deciso di intraprendere una strada diversa. Tuttavia mi piace parecchio cercare di scrivere ,con sforzo e evitando i copia e incolla (o perlomeno un copia e incolla bieco che non mi fa imparare nulla), righe di codice (php html css e qualcosina..ina..ina di c++).

In genere mi pongo degli obiettivi, cerco di fare progetti.

Avendone terminato uno di recente ho deciso di aprirne uno nuovo. Per fare ciò necessito di alcune informazioni in più sul curl e sul Web Scraping.

Ho letto qui la documentazione https://www.mrw.it/php/articoli/web-scraping-php_1152.html

Ho anche pensato all'utilizzo di alcune classi come Snoopy o Simple HTML DOM .

Con ambedue sono riuscito egregiamente a fare il login su di un sito, emulare la chiamata di diversi browser e riportare i dati su di una pagina web gestita da me.
Tuttavia credo che con le classi risparmi fatica ma non impari molto...almeno credo che siano poco utili a chi deve acquisire conoscenza...
Così mi sono riproposto di usare le manine sante e provare a scrivere i dati a mano.

Una cosa non mi è molto chiara: la manipolazione dei dati che ricevi una volata "grabbati" dal sito target. Mi spiego: una volta che ad es. recupero la classifica di serie A come faccio poi a modificare quei dati?

I dati che ricevo sulla mia pagina dipendono da js e fogli di stile che vengono ricercati sul mio host, inoltre volevo sapere se e come fare per gestirli (spostarli, modificarli etc...)

Qualcuno ha o sa dove posso reperire una documentazione dettagliata? Magari se c'è in Italiano (so che chiedo molto XD )
 

alessandro1997

Utente Attivo
6 Ott 2009
5.302
1
0
24
Roma
alessandro1997.netsons.org
Va bene imparare come funziona una libreria, ma non va assolutamente bene sprecare il proprio tempo scrivendo codice già esistente e che funziona meglio, perché realizzato da persone con una grande esperienza alle spalle, tienilo a mente quando crei qualcosa: se c'è già uno strumento che soddisfa le tue esigenze, usalo, non farti prendere dalla sindrome NIH, che nella comunità PHP dilaga.

Veniamo ora alla parte tecnica della tua domanda: per manipolare i dati una volta recuperati devi usare delle espressioni regolari oppure una libreria che ti consenta di navigare tra gli elementi DOM (es. SimpleXML).

Se stai cercando una buona libreria per fare Web scraping, dai un'occhiata a Goutte.
 

IImanuII

Utente Attivo
10 Giu 2012
390
0
16
Va bene imparare come funziona una libreria, ma non va assolutamente bene sprecare il proprio tempo scrivendo codice già esistente e che funziona meglio, perché realizzato da persone con una grande esperienza alle spalle, tienilo a mente quando crei qualcosa: se c'è già uno strumento che soddisfa le tue esigenze, usalo, non farti prendere dalla sindrome NIH, che nella comunità PHP dilaga.

Veniamo ora alla parte tecnica della tua domanda: per manipolare i dati una volta recuperati devi usare delle espressioni regolari oppure una libreria che ti consenta di navigare tra gli elementi DOM (es. SimpleXML).

Se stai cercando una buona libreria per fare Web scraping, dai un'occhiata a Goutte.

Ciao alex! (posso chiamarti alex? :3 )

Grazie per le dritte!
la sindrome di NIH non la conoscevo xD . Non credo di esserne affetto, probabilmente mi sono espresso male. Non tendo a preferire le cose fatte da me, anzi tutt'altro... xD però se io utilizzo una classe, ovviamente il risultato che ho non so da dove viene. Ti faccio un esempio: ho fatto dei form con la classica mail di php, dopo almeno averla conosciuta un pochino, sono passato alla funzionalissima ed efficientissima classe phpmailer. Ovviamente con questa i risultati sono stati decisamente egregi.

Appena posso consulterò le fonti che mi hai dato :)
 
Discussioni simili
Autore Titolo Forum Risposte Data
S [PHP] web-scraping PHP 2
S [PHP] Web Scraping bloccato? PHP 2
felino Web Scraping: qualche programma usare? Windows e Software 2
A basi di web design Discussioni Varie 0
A Consiglio per creazione sito web CMS (Content Management System) 0
N client web hikvision IP Cam e Videosorveglianza 10
W [Cerco collaborazioni] Sviluppatore Web (PHP) Offerte e Richieste di Lavoro e/o Collaborazione 1
L Creazioni siti web / e-commerce Annunci servizi di Social Media Marketing 0
T Film interattivo con linguaggi web Programmazione 7
T [cerco] scrittore/scrittrice per articoli web Offerte e Richieste di Lavoro e/o Collaborazione 5
T Offuscare link pagina web PHP 2
Y Vorrei selezionare un colore di sfondo per una pagina web Javascript 0
S Interfaccia web Cisco cap1700 Reti LAN e Wireless 0
G un tool che trova nuovi clienti per web agency e web developer Offerte e Richieste di Lavoro e/o Collaborazione 2
R DUBBI PORTFOLIO WEB DESIGN CMS (Content Management System) 2
S WEB APP PER AUTOMATIZZARE TASK INSTAGRAM Annunci servizi di Social Media Marketing 0
G Nuova Idea su come trovare clienti per sviluppo web Discussioni Varie 6
Tommy03 App mobile+ sito web con lo stesso database Sviluppo app per Android 4
L Aiuto per programma web php/mySQL PHP 2
R Convertire slides Powerpoint in Pagine Web HTML e CSS 7
S Software windows10 per controllo contenuti web Windows e Software 6
A Progetto Sito web responsive HTML e CSS 2
S Problemi di visualizzazione form contatti sito web HTML e CSS 2
S Realizziamo siti web/ pubblicita di target Offerte e Richieste di Lavoro e/o Collaborazione 0
Web93 CREARE SITO WEB COMICS CON WORDPRESS WordPress 0
M [VENDO]Sito web su misura e richiesta Compravendita siti e domini 0
A Cornici immagini per sito Web Wordpress WordPress 1
max1974 Web Cam Girata a specchio "instascan" jQuery 1
C [CERCO] Collaborazione con Web Agency o Web Designer Offerte e Richieste di Lavoro e/o Collaborazione 1
C [a pagamento] - Cercasi sviluppatore web front-end per assunzione Offerte e Richieste di Lavoro e/o Collaborazione 0
V Servizio design pagina web e download in self contained html file Discussioni Varie 1
A [Offro][retribuito] Creazione siti web/ web app (Django) Offerte e Richieste di Lavoro e/o Collaborazione 2
Q Leggere NFC da web app - web nfc Javascript 0
felino [Wordpress] Sito web con codice malevolo WordPress 7
D CERCO ~ Programmatore Gioco Web Offerte e Richieste di Lavoro e/o Collaborazione 0
E [Offro] Realizzazione di siti web e ottimizzazione SEO per raggiungere il primo posto su Google Offerte e Richieste di Lavoro e/o Collaborazione 0
O IP Cam in streaming su sito web IP Cam e Videosorveglianza 2
Web93 RICHIESTA CONSIGLIO - FARE UN SITO WEB CMS (Content Management System) 1
G [OFFRO][RETRIBUITO] Creazione siti web e loghi professionali Offerte e Richieste di Lavoro e/o Collaborazione 0
Licantropo Servizio oroscopo per giornali e/o testate web Discussioni Varie 2
S visualizzatore web Sviluppo app per Android 1
M Programmazione web HTML, CSS e JavaScript Offerte e Richieste di Lavoro e/o Collaborazione 6
LDB Multimedia e Internet Realizzo e Progetto Siti Web per ogni tipologia Professionale Offerte e Richieste di Lavoro e/o Collaborazione 0
D Web developer per sviluppo piattaforma turistica Offerte e Richieste di Lavoro e/o Collaborazione 3
P [OFFRO] Realizzazione siti web in PHP/MYSQL, responsive e Ottimizzati SEO Offerte e Richieste di Lavoro e/o Collaborazione 0
Web93 PROBLEMA SITO WEB WORDPRESS - LOGIN DASHBOARD Programmazione 3
A Mantenere la validazione reindirizzandoci su un secondo sito WEb. (ASP.NET) ASP.NET 0
A [HTML] Creare sito web per eLearnig HTML e CSS 2
V [JAVA] come integrare un software scritto in java su una pagina web? Java 4
N Avviare un'attività di vendita di siti web Discussioni Varie 3

Discussioni simili