Crawler4j.

Open Source Web Crawler per Java
Scarica ora

Crawler4j. Classifica e riepilogo

Annuncio pubblicitario

  • Rating:
  • Licenza:
  • Apache
  • Prezzo:
  • FREE
  • Nome editore:
  • Yasser Ganjisaffar
  • Sito web dell'editore:
  • http://www.ics.uci.edu/~yganjisa/
  • Sistemi operativi:
  • Mac OS X
  • Dimensione del file:
  • 29 KB

Crawler4j. Tag


Crawler4j. Descrizione

Open Source Web Crawler per Java Crawler4J è una fonte open source e Java Crawler gratuita che fornisce un'interfaccia semplice per la scansione del web. Usando Crawler4J, è possibile impostare un crawler web multi-thread in 5 minuti! Crawler4J è progettato in modo molto efficiente e ha la capacità di gattonare i domini molto veloci (ad esempio, è stato in grado di gattonare 200 pagine di wikipedia al secondo). Tuttavia, poiché questo è contro le politiche striscianti e mette un enorme carico sui server (e potrebbero bloccarti!), Poiché la versione 1.3, di default crawler4j attende almeno 200 millisecondi tra richieste. Questo parametro può essere sintonizzato con la funzione "SetpolitessElayDelay" nel controller. Qui sono disponibili istruzioni dettagliate per l'utilizzo del crawler Crawler4J.


Crawler4j. Software correlato

Chi siamo