| Strisciare Piccolo ed efficiente HTTP Crawler |
Scarica ora |
Strisciare Classifica e riepilogo
- Nome editore:
- Niels Provos
- Sito web dell'editore:
- http://monkey.org/~provos/
- Sistemi operativi:
- Mac OS X
- Dimensione del file:
- 108 KB
Strisciare Tag
Strisciare Descrizione
Piccolo ed efficiente HTTP Crawler La crawl Utility inizia una profondità prima attraversale del Web agli URL specificati. Memorizza tutte le immagini JPEG che corrispondono ai vincoli configurati. Il crawl è abbastanza veloce e consente una terminazione graziosa. Dopo aver terminato la crawl, è possibile riavviarlo esattamente nello stesso punto in cui è stato chiuso. Crewl mantiene un database persistente che consente a più strisciamenti senza rivisitare i siti di rivisitazione.Crawl contiene solo poche migliaia di linee di codice, il che rende abbastanza facile da personalizzare e debug.note: il crawl è concesso in licenza e distribuito sotto i termini della licenza BSD. Ecco alcune caratteristiche chiave di "Crawl": · Salva immagini riscontrate o altri tipi di media · Selezione dei media in base a espressioni regolari e controinti di dimensioni · Riprendi il precedente strisciamento dopo la terminazione graziosa · Database persistente degli URL visitati · Codice molto piccolo ed efficiente · Ricerche DNS asincroni · Supporta robots.txt. Requisiti: · Liberarente.
Strisciare Software correlato