Effettuare scraping in javascript?

JackIlPazzo

Utente Attivo
25 Lug 2014
69
0
6
Ciao a tutti,

la settimana scorsa ho cominciato i lavori su un parser in php per prelevare i dati da soccerway.com, il problema è che php oltre ad essere un linguaggio lato server (quindi alcuni contenuti che si caricano dopo non posso prelevarli), è anche molto spoglio a livello di parser. I pochi che ci sono sono pieni di bug e lentissimi, e nel mio caso con simple_html_dom si mangia molta memoria sul server il ché è sbagliatissimo.
Ho quindi intenzione di scrivere un parser in javascript per il sito web in alto. Ho intenzione di basarmi sul modello MVC, l'idea sarebbe questa:

1. Una cron job in php lancia un file javascript che include tutte le classi con i metodi per ogni sezione da scrapare del sito
2. Ogni dato prelevato da js viene inviato a file php che si occuperanno di caricare i dati sul mio database
3. Al termine viene fatto un aggiornamento del file di log

Quello che voglio chiedervi è se potete consigliarmi un buon parser in js (o un framework) che mi permetta di fare questo senza troppi sforzi e nella maniera più pulita possibile, non so se conoscete CodeIgniter o Slim, questi due framework mettono a disposizione metodi per le query, in questo modo non c'è il bisogno di scrivere ogni volta la query, ma questo è un altro discorso.

Spero che sia tutto chiaro
 
Discussioni simili
Autore Titolo Forum Risposte Data
M Risolto Effettuare un redirect tramite DNS (Era: DNS Redirect) Domini 1
W Come effettuare ripetute chiamate Curl con la stessa connessione autentica [PHP] PHP 0
M Effettuare Login con dati Json Sviluppo app per Android 0
elpirata [PHP][RISOLTO] Effettuare la somma dei tempi di lavorazione PHP 3
A Funzione javascript per effettuare la slide del carosello in avanti Javascript 0
N [Javascript] Effettuare spaziatura tra caratteri Javascript 0
JackIlPazzo Espressione regolare per effettuare match con URI PHP 1
M verificare se il valore inserito nel campo è un numero ed effettuare dei calcoli Javascript 2
xone Come effettuare backup del database mysql senza exec PHP 0
G Effettuare query con data del giorno in corso PHP 3
M Effettuare i controlli di obbligatorietà lato server e, per quanto possibile, di tipo. PHP 0
felino [JS] Passare un array ed effettuare la somma degli elementi Javascript 2
felino [Virtuemart] Impossibile effettuare alcun modifiche dall'amministrazione Joomla 0
H Effettuare il controllo dei campi di un form e cambiare l' action dinamicamente Javascript 1
G php effettuare una connessione ssh o telnet ed inviare dei comandi PHP 3
C Effettuare il log out alla chiusura del browser PHP 3
M Non riesco ad effettuare l'upload Discussioni Varie 7
JellyBelly Effettuare GET tramite PHP PHP 2
S effettuare un controllo PHP 1
M www.mytcom.it per effettuare chiamate gratis in tutto il mondo senza limiti Presenta il tuo Sito 0
grottafelix Modifiche da effettuare: ricapitoliamo Supporto Mr.Webmaster 4
P Scraping HTML e CSS 2
P Data scraping in PHP non funziona PHP 4
S [PHP] web-scraping PHP 2
S [PHP] recuperare determinato elemento con lo scraping PHP 1
S [PHP] Web Scraping bloccato? PHP 2
F Scraping pagina Aspx PHP 0
JackIlPazzo Scraping contenuto menu e relativi data-value? PHP 19
felino Web Scraping: qualche programma usare? Windows e Software 2
IImanuII Web Scraping: manipolazione e info generali. PHP 2
I Creare un banner temporaneo JavaScript Javascript 0
S Impossibile scorrere un oggetto in JavaScript Javascript 0
N Passare array da php a javascript PHP 5
L Quiz javascript funzionante da migliorare Javascript 0
P errore 404 con javascript Javascript 2
D aiuto funzioni javascript Javascript 1
M Upload immagine con javascript problemi con FormData() Javascript 1
L countdown multiplo javascript Javascript 1
S Problemi Javascript + Aruba Javascript 2
M Inviare un file su un server remoto con JavaScript Javascript 0
T a href="javascript:;" Javascript 1
F Creare elementi html con javascript Javascript 3
A pulsante di update campo mysql con javascript Javascript 2
8 Javascript - PDF Form Javascript 0
B javascript per problemi con pdf e Safari Javascript 0
N informazione javascript Programmazione 0
I Eecuzione di javascript in ciclo foreach php. PHP 7
P javascript:document.forms Javascript 7
S Consiglio esercizio Javascript Javascript 2
MarcoGrazia Aggiungere o rimuovere classi in javascript Javascript 1

Discussioni simili