Weblech URL Spider. Download e strumento di mirroring gratuito e open source creato in Java
Scarica ora

Weblech URL Spider. Classifica e riepilogo

Weblech URL Spider. Tag

sito web Scarica downloader. scaricare sito web emula il browser web Downloader del sito web

Weblech URL Spider. Descrizione

Strumento di download e mirroring gratuito e open source creato in Java Weblech è uno strumento di download / uno specchio gratuito completo e open source, creato in Java, che supporta molte funzionalità necessarie per scaricare i siti Web e emulare il più possibile il comportamento del browser del web standard. Weblech è multithreading e viene fornito con una console GUI. Ecco alcune caratteristiche chiave di "Weblech URL Spider": · La licenza MIT open source significa che è totalmente gratuito e puoi fare ciò che vuoi con esso · Codice Java puro significa che è possibile eseguirlo su qualsiasi computer abilitato Java · Funzionamento multi-filettato per il download di molti file contemporaneamente · Supporta l'autenticazione HTTP di base per l'accesso ai siti protetti da password · Il supporto del referrer TTP mantiene le informazioni del collegamento tra le pagine (necessarie per ragno alcuni siti Web) Un sacco di opzioni di configurazione: · PROFONDITÀ PRIMO O IN PARTITA PRIMA PRACEVERA DEL SITO · Filtro URL candidato, in modo da poter attendere un server Web, una directory o solo ragno l'intero web · La cache configurabile dei file scaricati consente il riavvio senza bisogno di scaricare nuovamente tutto · Prioritazione dell'URL, quindi puoi ottenere prima i file interessanti e lasciare i file noiosi fino alla fine (o ignorarli completamente) · Checkpointing in modo da poter istantanee lo stato del ragno nel mezzo di una corsa e riavviare senza molta elaborazione. Requisiti: · Java. Cosa c'è di nuovo in questa versione: · Aggiunta la classificazione degli URL come "interessante" o "noioso" per semplice · Corride corrispondenza. URL interessanti vengono scaricati in preferenza a · Quelli noiosi. · Ragno separato dall'interfaccia utente, che è ora in ui / textspider. · Aggiunti checkpointing e funzionalità di ripresa, quindi il ragno può essere · Uccisi e riavviato senza fare molta elaborazione. · Fissare il recupero dell'URL in modo che i frammenti (URL con # in essi) non lo sono · Trattato come un nuovo URL.

Weblech URL Spider. Software correlato