Metabot. A Strumento Free Web Crawler e Command Line Ottimizzato per la velocità
Scarica ora

Metabot. Classifica e riepilogo

Metabot. Tag

filtro crawler. strisciare web crawler. Sito web Crawler. filtro URL.

Metabot. Descrizione

Uno strumento gratuito web crawler e linea di comando ottimizzato per la velocità supporti Methabot script analisi filetype, una vasta gamma di opzioni di personalizzazione ed è facilmente configurati per soddisfare anyones esigenze particolari. Methabot è mirato per l'estensibilità e personalizzazione. E 'in fase di sviluppo per alta modularità, e viene fornito con JavaScript come linguaggio di scripting. Con l'uso del sistema modulare e linguaggio di script, gli utenti sono in grado di prendere il controllo totale o parziale del processo di scansione e decidono comunque Methabot dovrebbe archiviare i dati web, statistiche e molto altro ancora. Solo eseguendo Methabot da linea di comando si è in grado tipi di file di configurazione personalizzati, filtrando le espressioni, comportamenti, e molto altro, in modo da non devi essere uno scripter! Methabot è portatile e testato con successo su Mac OS X, a 32-bit / 64-bit Linux 2.6, 32-bit / 64-bit FreeBSD 6.x / 7.0, e Windows XP. Dovrebbe funzionare su quasi qualsiasi sistema operativo Unix-like. Ecco alcune caratteristiche chiave di "metabot": · È veloce, progettato da terra e in mente con l'ottimizzazione della velocità in mente. · Scriptable attraverso E4X · Filtro del tipo di file definito dall'utente (in base al tipo MIME, all'estensione del file o all'espressione UMEX) · Multi-filettato · Altamente configurabile dalla riga di comando · Sistema di moduli estendibili, supportando parser e filtri personalizzati personalizzati. · Filtraggio semplice ma potente degli URL attraverso Umex. · Download automatico · Supporto per la manipolazione automatica dei cookie quando si esegue HTTP · Connessione affidabile, tollerante fault-tolerant Cosa c'è di nuovo in questa versione: · Supporto per la conversione tra codifiche dei caratteri attraverso libiconv · Nuova utf8conv parser per convertire praticamente qualsiasi codifica dei caratteri per utf8 · Nuovo entityconv parser, convertiti html entità come ad esempio ä al · Corrispondente utf-8 caratteri · Il sistema di configurazione è stato spostato in una libreria separata, libmethaconfig · Vari miglioramenti del caricatore di configurazione, ad esempio aggiungendo dinamicamente · E cambiando le classi e gli ambiti · Un sacco di ottimizzazioni utilizzo della memoria e correzioni di pulizia · La documentazione disponibile nel wiki è stato copiato in un file texinfo, · Da ora in poi tutta la documentazione sarà messo in questo file texinfo e disponibile · Come un manuale sia online che offline · Supporto per attributi tipo di file. Parser possono ora impostare i dati personalizzati che saranno · Essere associato ad un file analizzato. zona primaria attributi di utilizzo è quando si · Sono collegati ad un sistema di metanolo e desidera memorizzare meta-dati relativi a un URL. · Nuova funzione set_attribute Javascript () per gli attributi di impostazione per la · URL corrente · Funzioni giornalista di supporto API per stato personalizzato, di errore / avvertimento e di destinazione · Lmetha_global_setopt () non è più disponibile, sostituito con lmetha_setopt () · opzioni · SpiderMonkey-1.8.0 aggiunto il supporto · Nuova exec funzione globale Javascript () · Nuovo built-in funzione di gestore di WriteFile · Libmetha non dipende più da libev, ma utilizza tubi e epoll () per · La comunicazione inter-thread e in attesa di eventi sul socket. · Aggiunto contatori interni utili per le statistiche di conservazione · Nuova opzione filetype 'ignore_host' · --External opzione impostata su falso non può più essere aggirato utilizzando un HTTP · reindirizzare · Supporto per CURIE (perché no?) Nel built-in HTML parser aggiunto · Bugfix, un errore di sintassi, in alcuni rari casi si verificano durante l'analisi intero · Valori nei file di configurazione · Bugfix nel file di configurazione del parser durante la lettura dei valori di bandiera · Bugfix, quando parser filetype javascript non ha restituito un valore, è stato · Trattata come una stringa, "indefinito", e utilizzato come un URL relativo

Metabot. Software correlato