Metabot. crawler del file system
Scarica ora

Metabot. Classifica e riepilogo

Metabot. Tag

ragnatela Ftp. crawler web crawler crawler FTP filesystem crawler.

Metabot. Descrizione

File system crawler. Il software Micabot è un crawler FTP e crawler FTP e file locale scriptable ottimizzato-ottimizzato e altamente configurabile. Supporta l'analisi dei tipi di filetti script, un'ampia varietà di opzioni di personalizzazione ed è facilmente configurata per adattarsi a qualsiasi esigenza particolari. Con l'uso del sistema di moduli e del linguaggio di scripting, gli utenti sono in grado di prendere il controllo completo o parziale del processo strisciante e decidere comunque il metabot Se conservare i dati Web, le statistiche e molto altrore.Just eseguendo il metabot dalla riga di comando che è possibile configurare filetipi personalizzati, filtrando le espressioni, il comportamento e molto altro, quindi non devi essere uno script! Ecco alcune caratteristiche chiave di "metabot": · È veloce, progettato da terra e in mente con l'ottimizzazione della velocità in mente. · Scriptabile tramite JavaScript con E4X · Filtro del tipo di file definito dall'utente (in base al tipo MIME, all'estensione del file o all'espressione UMEX) · Multi-filettato · Altamente configurabile dalla riga di comando · Sistema di moduli estendibili, supportando parser e filtri personalizzati personalizzati. · Filtraggio semplice ma potente degli URL attraverso Umex. · Download automatico · Supporto per la manipolazione automatica dei cookie quando si esegue HTTP · Connessione affidabile, tollerante fault-tolerant · Portatile, testato con successo su Linux a 32 bit / a 64 bit 2.6, a 32 bit / 64 bit FreeBSD 6.x / 7.0, Windows XP e Mac OS X.. dovrebbe funzionare su quasi tutti i sistemi operativi simili a Unix. Requisiti: · Intestazioni di Spidermonkey. · Curl e libcurl Cosa c'è di nuovo in questa versione: · Bugfix, quando è stato utilizzato esterni, il limite di profondità è stato incasinato. · Correzioni di pulizia dell'utilizzo della memoria · L'opzione Dynamic-URL non è più impostata per la ricerca per impostazione predefinita, poiché rallenta in modo significativo il gawnling · Build System ora crea e installa alcuni file di intestazione che i moduli possono utilizzare durante il collegamento · Aggiunto lo strumento Metha-config · LMMM_MYSQL spostati al di fuori di questo pacchetto

Metabot. Software correlato